T/SDDITAI 9061-2024 大模型产品评估规范
ICS 01.040.35
L60
团体标准
T/SDDITAI 9061-2024
大模型产品评估规范
Evaluation Specification for Large Model Products
2024 - 09 - 01发布
2024 - 09 - 01实施
___________________________________________________________________________________________________________
山东省数据和信息技术应用创新协会 发布
目 次
前 言
引 言
大模型产品评估规范
1 范围
2 术语和定义
3 大模型产品的分类
3.1 按照应用领域分类
3.2 按照技术训练方式分类
3.3 按照输入数据类型分类
4 总则
5 大模型产品要求
5.1 大模型产品生产
5.2 大模型产品评测
6 大模型产品评估
6.1 大模型产品评估要求
6.2 评估实施要求
6.3 大模型产品评估结果
7 评估机构要求
8 监督要求
前 言
本标准由山东省数据和信息技术应用创新协会提出并归口。
本部分起草单位：中国软件评测中心（工业和信息化部软件与集成电路促进中心）、青岛赛迪国软信息系统治理有限公司、青岛海检集团有限公司、山东浪潮傲林大数据科技有限公司、浪潮云信息技术有限公司、青岛文达通科技股份有限公司、山东莱易信息产业股份公司、山东赛迪国软数据产业有限责任公司、山东可信云信息技术研究院、中国联合网络通信集团有限公司、山东数字产业发展研究院、青岛市大数据发展促进会、金现代信息产业股份有限公司、青岛黄海神舟计算机工程研究所、青岛新闻网络传播有限公司、青岛第三方大数据综合服务有限公司、山东省数据和信息技术应用创新协会等。
本部分起草人：孙佰鑫、任保东、张理敬、付鸣、王相成、周游、管洪清、陈新、吴业元、乔岳、马亮、姜慧明、刘传彬、宗云兵、史高升、荣垂金、杨瑾、单哲、闫肃、逯洋、于晓萌、王振鹏、杨竹馨、金梦、李春霞、李燕、杨俊华等。
版权声明
根据国家有关法律法规规定，团体标准享有版权，未经许可禁止复制和销售。未经合法授权，严禁任何单位和个人对标准出版物及相关工作文件进行复制、销售、传播和翻译出版，严禁任何单位或个人将标准的任何部分通过电子信息网络或制作成标准数据库用于传播。标准化服务机构和中介机构的检验、鉴定、认证、咨询、评估和培训等活动必须使用正版标准。标准化研究机构馆藏的标准文本必须通过合法渠道购买。
引 言
在国家大数据战略指引下，人工智能等新一代信息技术发展成为社会经济创新转型发展的重大机遇，大模型作为人工智能技术的核心技术，近年来发展迅猛，产业竞争日趋激烈。
为进一步推动大模型产业持续快速健康发展，促进大模型产品的规范化研发、生产和销售，满足地方鼓励大模型产业发展政策落地的支撑需要，山东省数据和信息技术应用创新协会经广泛调研，依据国家对大数据产业、人工智能产业发展的相关文件精神，结合全国大模型企业在大模型产品方面的最佳实践和成功经验，特组织制订本指导标准。
本标准基于大数据发展趋势和大模型发展新阶段特点，对大模型产品的分类、生产、评测、评估、评估机构以及监督提出了规范性要求，为从事大模型产品开发和服务企业提供了大模型产品管理规范，为推进大模型产业发展提供了支撑依据，有利于发挥行业自律和示范作用，促进大模型产业持续健康快速发展。
大模型产品评估规范
1 范围
本标准规定了大模型产品的总则要求、生产要求、评测要求、评估要求、评估机构要求以及监督要求。
本标准适用于大模型产品的评估及监督活动。
2 术语和定义
下列术语和定义适用于本标准。
2.1
算法 algorithm
算法是指用于解决特定问题或实现特定任务的计算步骤和规则的集合。算法具有明确性、有效性、有限性和输入/输出等特性。
2.2
大模型 large model
大模型，即人工智能大模型，是指具有大规模参数和复杂计算结构的机器学习模型，是人工智能技术的重要组成部分。
大模型通常是在算法的基础上构建的，算法提供了训练和优化大模型的方法和规则，使大模型能够更好地处理复杂的数据和任务。大模型通过训练海量数据来学习复杂的模式和特征，好的大模型具备更强大的模型的表达能力和预测性能，能够处理更加复杂的数据和任务。
2.3
大模型产品 large model products
大模型产品是基于大模型技术开发的、以满足社会用户需求为目的、具有特定功能和适用场景的产品。大模型产品通常结合人工智能技术和业务场景需求，为用户提供高效、准确、便捷的服务。
2.4
国产大模型产品 native large model products
国产大模型产品是指由中资企业在我国境内研发、生产的大模型产品。
2.5
进口大模型产品 import large model products
在我国境外研发，但以各种形式在我国生产或销售的大模型产品，或在境外通过互联网等离岸手段在我国提供服务的大模型产品。
2.6
大模型产品检测机构 large model product testing organization
具备国家认证认可监督管理委员会颁发的检验检测机构资质认定证书和大模型产品检验检测能力的第三方检测机构，能够针对大模型产品出具专门的测试报告，以证实其大模型产品相关特性。
3 大模型产品的分类
3.1 按照应用领域分类
大模型产品按照应用领域的不同，主要分为以下两类：
3.1.1 通用大模型产品
通用大模型产品，指跨领域、跨任务的大模型产品，它可以在多个领域和任务中应用，通过训练和学习，实现对不同类型的数据进行分类、识别、生成等任务。通用大模型产品利用大算力、使用海量的开放数据与具有巨量参数的深度学习算法，在大规模无标注数据上进行训练，以寻找特征并发现规律，进而形成可“举一反三”的强大泛化能力，可在不进行微调或少量微调的情况下完成多场景任务。
3.1.2 垂直大模型产品
垂直大模型产品，指针对特定领域或特定任务的大模型产品，它专注于某个特定领域的数据和任务，通过大量的数据训练，实现对该领域的数据进行高效、准确的分类、识别、生成等任务。垂直大模型产品与通用大模型产品相对，专注于某一垂直领域或应用场景。
3.2 按照技术训练方式分类
大模型产品按照技术训练方式的不同，主要分为以下三类：
3.2.1 基础大模型产品
基础大模型产品，指规模庞大、具有高度泛化能力的预训练模型产品。基础大模型产品通过在海量的、多样化的数据集上进行训练，学会了丰富的背景知识和复杂的模式识别能力，可以视为人工智能的“基石”。基础大模型产品并不直接面向特定的应用任务，而是作为一种通用型的知识和技能储备，具备广泛适用的基础智能。
3.2.2 行业大模型产品
行业大模型产品，指适用于特定行业或领域的大模型产品。行业大模型产品建立在基础大模型之上，具有相关行业的专业性、应用场景广泛性特点，通常使用行业相关的数据进行预训练或微调，使其能够掌握和运用该行业的专业术语、流程、规范及数据特性，以提高在该行业的性能和准确度，更好地适应并解决该行业独有的问题和挑战。
3.2.3 场景大模型产品
场景大模型产品，指针对特定应用场景或任务进行训练和优化的大模型产品。垂直大模型产品通常使用场景相关的数据进行预训练或微调，由于结合了特定场景中的数据、算法和技术，具有更专业的领域知识，可以提高在该任务上的性能和效果，能够精细化地应对特定场景下的挑战，更好地解决特定领域内的复杂问题。
3.3 按照输入数据类型分类
大模型产品按照输入数据类型的不同，主要分为以下三类：
3.3.1 自然语言大模型产品
自然语言大模型产品，指在自然语言处理（Natural Language Processing，NLP）领域中的一类大模型产品，通常用于处理文本数据和理解自然语言，其主要特点是产品在大规模语料库上进行了训练，以学习自然语言的各种语法、语义和语境规则。例如，GPT系列（OpenAI）、文心一言（百度）等。
3.3.2 视觉大模型产品
视觉大模型产品，指在计算机视觉（Computer Vision，CV）领域中使用的大模型产品，通常用于图像处理和分析，其主要特点是产品在大规模图像数据上进行训练，可以实现各种视觉任务，如图像分类、目标检测、图像分割、姿态估计、人脸识别等。例如，VIT系列（Google）、文心VIMER-UFO（百度）、盘古CV（华为）等。
3.3.3 多模态大模型产品
多模态大模型产品，指能够处理多种不同类型数据的大模型产品，包括文本、图像、音频等多模态数据，其主要特点是产品结合了NLP和CV的能力，以实现对多模态信息的综合理解和分析，从而能够更全面地理解和处理复杂的数据。例如：DALL-E(OpenAI)、悟空画画（华为）等。
4 总则
大模型产品应具备大模型相关特征，符合大模型产品的基本定义。大模型产品的开发、生产、销售、进出口等活动应当遵守我国有关法律、法规和标准。任何单位和个人不得开发、生产、销售、进出口含有下列内容的大模型产品：
a）侵犯他人知识产权的；
b）含有计算机病毒的；
c）可能危害信息系统安全的；
d）不符合我国信息技术相关标准的；
e）危害国家和社会公共利益的；
f）无质量承诺、无安全承诺、无责任单位的；
g）不符合我国社会主义核心价值观的，或不符合伦理道德的；
h）含有法律、行政法规等禁止内容的。
5 大模型产品要求
5.1 大模型产品生产
5.1.1 大模型产品生产单位所生产的大模型产品应是本单位享有著作权或者经过相关权利人许可其生产的产品。
5.1.2 提供给用户的大模型产品，应标明该产品的名称、版本号、著作权人、产品生产单位（进口单位）、单位地址和联系方式。
5.1.3 提供给用户的大模型产品（包括进口的和在国内生产的国外大模型产品），应当配有完备的中文产品说明、使用手册、质量与信息安全承诺等用户文档，并在产品上或者说明文件等书面文件中注明提供技术服务的单位、内容和方式。
5.1.4 大模型产品文档应当与其产品形态匹配，并符合国家相关标准规范要求。
5.2 大模型产品评测
5.2.1 大模型产品的基本功能性、抗攻击性、基本合规性、参数规模等，可以通过大模型产品检测机构对大模型产品的评测进行验证。
5.2.2 由大模型产品检测机构开展的大模型产品评测，应出具其盖章的大模型产品测试报告，报告内容应载明大模型产品样品名称、版本号、委托单位、生产单位、测试单位、测试结果、测试内容、测试环境等信息。
6 大模型产品评估
6.1 大模型产品评估要求
6.1.1 大模型产品实行自愿评估。
6.1.2 大模型产品应以下列方式命名：
大模型产品品牌+行业或应用场景或功能+“大模型"+产品版本号
6.1.3 国产大模型产品应由该产品的开发、生产单位申请评估，并提交下列材料（加盖公章）：
a）大模型产品评估申请表；
b）企业法人登记证书副本复印件；
c）大模型产品在我国境内研发及申请单位拥有知识产权的有效证明，或者大模型产品在我国境内自主提供其核心服务的有效证明；
d）大模型产品检验检测机构出具的证实具备大模型产品特性的检测证明材料复印件；
e）产品质量与信息安全承诺书；
f）其他需要出具的材料。
6.1.4 进口大模型产品中在我国境内进行本地化开发、生产的产品，其在我国境内开发的部分，由著作权人和原开发单位提供在我国境内开发的证明材料，视同国产大模型产品。
6.1.5 进口大模型产品的评估，由负责进口的单位提交下列材料（加盖公章）：
a）大模型产品评估申请表；
b）申请单位登记证书副本复印件；
c）大模型产品样品，或大模型产品说明；
d）大模型产品著作权人授权在中国经营的证明材料；
e）大模型产品检验检测机构出具的检测证明材料复印件；
f）产品质量与信息安全承诺书；
g）大模型产品符合国家大模型产品进口程序的材料。
6.2 评估实施要求
根据6.1.3和6.1.5所列的申请材料，严格按照本标准第5章的要求，据实逐项评估。
6.3 大模型产品评估结果
6.3.1 若所评产品符合本标准第5章规定的要求，则评估结果为“通过”，并颁发相应证书。
6.3.2 若所评产品存在不符合本标准第5章规定的要求，则评估结果为“不通过”，不予颁发证书。
6.3.3 大模型产品证书的有效期为三年。有效期届满前可以申请延续。
6.3.4 本标准归口机构对符合本标准的大模型产品评估结果进行定期公告。
7 评估机构要求
由本标准归口机构组织成立专门的评估组或委托认可的第三方评估机构，按照本标准进行大模型产品评估，满足以下基本要求：
a）具备独立承担民事责任的能力；
b）具备按照本标准进行大模型产品评估的人员和能力；
c）秉持客观、公正立场进行大模型产品评估。
8 监督要求
大模型产品评估工作监督要求如下：
a）大模型产品的评估工作接受行业主管部门的监督和指导；
b）按本标准评估过的大模型产品被发现违反本标准的，撤销该大模型产品的评估号、证书，并予以公告。
版权所有 未经许可禁止复制和销售
_________________________________
