2023可信AI技术与应用进展白皮书.pdf

可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I摘要人工智能的飞速进步和应用带来了前所未有的机遇和挑战，也将可信人工智能推向产业发展的前台。2021 年，中国信通院可信人工智能白皮书 首次系统提炼出业内较为统一的可信 AI 特征要素，在安全鲁棒、隐私保护、公平性、可解释的大框架下，可信 AI 正在金融、保险、制造、医疗等领域加速落地。伴随人工智能技术底座不断夯实和大模型、AIGC 等的爆发式增长，人工智能迈出了走向通用人工智能的关键一步，2023 年 4 月中共中央政治局会议强调“重视通用人工智能发展，营造创新生态，重视防范风险”，可信 AI成为新阶段平衡创新与风险的重要技术手段。本报告基于统一的可信 AI 认知维度，梳理总结可信 AI 技术和应用发展现状，提炼面向新阶段大模型和 AIGC 引发的新需求，形成以技术为保障的可信 AI 评估体系和工具。全文主要观点如下：一是归纳了可信 AI 发展变迁的产业技术背景，即近期算法、算力、数据基础不断夯实，人工智能固有技术风险持续放大，可信 AI技术成为 AI 领域关键底层能力，各国也正在围绕生成式人工智能监管、人工智能伦理等推动治理。二是梳理了现阶段可信 AI 四大技术方向发展情况。可信 AI 已在行业领域落实成具体产品和实践案例，总体上正从创新整合解决方案阶段迈向形成可信系统机制的阶段，完整的实践链路、健全的标准和系统机制将逐步落地。三是概括了面向大模型和 AIGC 的可信 AI 探索，即大模型时代下可能面临的安全可信挑战，主要包括大模型的生成式攻击和防御、可信 AI 技术和应用进展白皮书 2023可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I四大模型自身的安全风险和隐患、大模型的可解释性和公平性问题等三大类。是构建了以技术为保障的可信 AI 评估体系，面向产业发展需求，构建了包括隐私保护检测、可解释性检测、公平性检测和鲁棒性检测的可信 AI 检测指标体系，并提出了具体的评估内容、指标和方式，并可进一步赋能大模型与 AIGC 发展。最后，本白皮书从技术、产业、生态和监管维度对可信人工智能发展提出了建议，对趋势进行了展望，将迎来研究应用更加均衡、内在动力更加多维、外在监管更加全面的发展局面。第一章 人工智能迈向发展新阶段 1.1 人工智能发展迎来全新时代 1.2 人工智能可信面临全新挑战 1.3 全球人工智能治理机制进展 1.3.1 基于政策法规的治理机制 1.3.2 基于生态共识的治理机制第二章 可信 AI 产业实践深入发展 2.1 应用 AI 鲁棒性技术对抗恶意攻击 2.1.1 提升文本识别对抗能力 2.1.2 提升图像伪造识别能力 2.1.3 提升生物核身检测能力 2.2 应用 AI 可解释性技术提升决策透明度 2.2.1 用于模型归因的可解释 2.2.2 复杂关系网络的可解释 2.2.3 融合专家知识的可解释 2.3 互联网平台公平性探索 2.3.1 纠偏营销定价歧视 2.3.2 改善信息茧房现象 2.3.3 强化弱势群体保护 2.4 AI 应用实践中的数据模型安全和隐私保护 2.4.1 终端社交内容中的隐私保护 2.4.2 IoT（物联网）人脸特征隐私保护算法 2.4.3 多方安全计算助力行业跨机构协作第三章 面向大模型和 AIGC 的可信 AI 探索 3.1 大模型和 AIGC 的发展与生态 3.1.1 大规模深度学习模型发展历程 3.1.2 大模型时代下 AIGC 的产业生态与可信挑战-1-1-2-5-5-9-11-12-13-14-16-17-18-20-21-22-24-25-26-26-28-28-30-31-31-31-33-目 录.可信 AI 技术和应用进展白皮书 2023可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I四大模型自身的安全风险和隐患、大模型的可解释性和公平性问题等三大类。是构建了以技术为保障的可信 AI 评估体系，面向产业发展需求，构建了包括隐私保护检测、可解释性检测、公平性检测和鲁棒性检测的可信 AI 检测指标体系，并提出了具体的评估内容、指标和方式，并可进一步赋能大模型与 AIGC 发展。最后，本白皮书从技术、产业、生态和监管维度对可信人工智能发展提出了建议，对趋势进行了展望，将迎来研究应用更加均衡、内在动力更加多维、外在监管更加全面的发展局面。第一章 人工智能迈向发展新阶段 1.1 人工智能发展迎来全新时代 1.2 人工智能可信面临全新挑战 1.3 全球人工智能治理机制进展 1.3.1 基于政策法规的治理机制 1.3.2 基于生态共识的治理机制第二章 可信 AI 产业实践深入发展 2.1 应用 AI 鲁棒性技术对抗恶意攻击 2.1.1 提升文本识别对抗能力 2.1.2 提升图像伪造识别能力 2.1.3 提升生物核身检测能力 2.2 应用 AI 可解释性技术提升决策透明度 2.2.1 用于模型归因的可解释 2.2.2 复杂关系网络的可解释 2.2.3 融合专家知识的可解释 2.3 互联网平台公平性探索 2.3.1 纠偏营销定价歧视 2.3.2 改善信息茧房现象 2.3.3 强化弱势群体保护 2.4 AI 应用实践中的数据模型安全和隐私保护 2.4.1 终端社交内容中的隐私保护 2.4.2 IoT（物联网）人脸特征隐私保护算法 2.4.3 多方安全计算助力行业跨机构协作第三章 面向大模型和 AIGC 的可信 AI 探索 3.1 大模型和 AIGC 的发展与生态 3.1.1 大规模深度学习模型发展历程 3.1.2 大模型时代下 AIGC 的产业生态与可信挑战-1-1-2-5-5-9-11-12-13-14-16-17-18-20-21-22-24-25-26-26-28-28-30-31-31-31-33-目 录.可信 AI 技术和应用进展白皮书 2023可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I图 1-1 可信人工智能技术发展图 1-2 大模型引发的不同维度风险图 1-3 典型场景风险分析图 1-4 可信人工智能技术与监管治理进程图 2-1 可信 AI 发展阶段判断图 2-2 AI 鲁棒性的一般技术架构图 2-3 梯度攻击以微小扰动产生错误识别图 2-4 常见可解释性技术分类图 2-5 图模型可解释案例图 2-6 互联网法庭智能审理案例图 2-7 公平性 AI 的常见问题和方法图 2-8 跨主体隐私计算的常见方法图 2-9 TEE-DP 算法方案图 3-1 各大企业的大模型发展与生态图 3-2 大模型时代下面临的安全可信挑战图 3-3 大模型和 AIGC 的生成式攻击图 3-4 生成式模型的 AI 生成内容甄别图 3-5 基于模型水印的身份标识方法的逻辑架构图 3-6 大模型的提示语泄漏风险图 3-7 大模型学习敏感数据导致的隐私泄漏图 3-8 承载大模型的软件漏洞导致的数据泄漏图 3-9 大模型的提示语安全风险图 3-10 大模型的数据安全风险图 3-11 大模型的模型安全风险图 3-12 大模型意识形态偏见所引发的公平性问题图 4-1 当前面向可信 AI 各子领域的常见工具图 4-2 蚁鉴平台测评流程和报告示例-3-4-5-6-11-13-15-18-21-22-23-27-29-33-34-36-38-39-40-41-42-45-46-47-50-51-56-插 图 目 录.3.2 大模型的生成式攻击和防御.-35-3.2.1 大模型的生成式攻击.-35-3.2.2 面对生成式攻击的防御挑战.-37-3.3 大模型自身的安全风险与隐患.-39-3.3.1 大模型的数据泄漏问题.-39-3.3.2 大模型的伦理道德问题.-42-3.3.3 大模型的攻击对抗问题.-44-3.4 大模型的可解释性及公平性.-47-3.4.1 大模型的可解释性.-48-3.4.2 大模型的公平性.-49-第四章 以技术为保障的可信 AI 评估.-50-4.1 可信 AI 检测工具.-50-4.2 可信 AI 检测框架.-53-4.3 检测实例分析.-55-第五章 发展建议和趋势展望.-57-5.1 发展建议.-57-5.1.1 技术维度.-57-5.1.2 产业维度.-59-5.1.3 生态维度.-60-5.1.4 监管维度.-61-5.2 未来展望.-62-英文缩略语对照表.-64-可信 AI 技术和应用进展白皮书 2023可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I图 1-1 可信人工智能技术发展图 1-2 大模型引发的不同维度风险图 1-3 典型场景风险分析图 1-4 可信人工智能技术与监管治理进程图 2-1 可信 AI 发展阶段判断图 2-2 AI 鲁棒性的一般技术架构图 2-3 梯度攻击以微小扰动产生错误识别图 2-4 常见可解释性技术分类图 2-5 图模型可解释案例图 2-6 互联网法庭智能审理案例图 2-7 公平性 AI 的常见问题和方法图 2-8 跨主体隐私计算的常见方法图 2-9 TEE-DP 算法方案图 3-1 各大企业的大模型发展与生态图 3-2 大模型时代下面临的安全可信挑战图 3-3 大模型和 AIGC 的生成式攻击图 3-4 生成式模型的 AI 生成内容甄别图 3-5 基于模型水印的身份标识方法的逻辑架构图 3-6 大模型的提示语泄漏风险图 3-7 大模型学习敏感数据导致的隐私泄漏图 3-8 承载大模型的软件漏洞导致的数据泄漏图 3-9 大模型的提示语安全风险图 3-10 大模型的数据安全风险图 3-11 大模型的模型安全风险图 3-12 大模型意识形态偏见所引发的公平性问题图 4-1 当前面向可信 AI 各子领域的常见工具图 4-2 蚁鉴平台测评流程和报告示例-3-4-5-6-11-13-15-18-21-22-23-27-29-33-34-36-38-39-40-41-42-45-46-47-50-51-56-插 图 目 录.3.2 大模型的生成式攻击和防御.-35-3.2.1 大模型的生成式攻击.-35-3.2.2 面对生成式攻击的防御挑战.-37-3.3 大模型自身的安全风险与隐患.-39-3.3.1 大模型的数据泄漏问题.-39-3.3.2 大模型的伦理道德问题.-42-3.3.3 大模型的攻击对抗问题.-44-3.4 大模型的可解释性及公平性.-47-3.4.1 大模型的可解释性.-48-3.4.2 大模型的公平性.-49-第四章 以技术为保障的可信 AI 评估.-50-4.1 可信 AI 检测工具.-50-4.2 可信 AI 检测框架.-53-4.3 检测实例分析.-55-第五章 发展建议和趋势展望.-57-5.1 发展建议.-57-5.1.1 技术维度.-57-5.1.2 产业维度.-59-5.1.3 生态维度.-60-5.1.4 监管维度.-61-5.2 未来展望.-62-英文缩略语对照表.-64-可信 AI 技术和应用进展白皮书 2023可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I01第可信 AI 技术和应用进展白皮书 2023一章 人工智能迈向发展新阶段1.1 人工智能发展迎来全新时代优化算法、通用数据、硬件算力推动人工智能技术底座不断夯实。算法层面，已开启千亿级甚至万亿级参数量预训练模型的研发热潮，助推深度学习技术突破，加速人工智能外溢性和普惠性发展。数据层面，人工智能快速发展推动数据规模不断上升，并呈现多模态发展态势，数据服务进入深度定制化阶段，各方正在积极建设高质量数据集以支撑知识驱动的人工智能发展。算力层面，单点算力持续突破，面向训练和推理用的芯片快速演进，新架构不断研究，类脑芯片、存内计算、量子计算等加快探索。近期，大模型为代表的生成式人工智能正在发挥纽带效应，以通用智能体、具身智能和类脑智能等为代表的通用人工智能可能带来新一轮生产力范式变革。政策关注引导人工智能赋能产业应用，数实融合推动经济发展。各国将人工智能作为构建核心竞争力的重要领域之一，加快部署人工智能工程化落地，产业规模持续扩大。IDC 数据显示，2022 年全球人工智能市场收入达 4497 亿美元，同比增长 17.3%；预计 2023年收入达 5373 亿美元，同比增长 19.5%。中国依托庞大的制造业规模、丰富的应用场景和海量数据资源，加强数实融合布局，人工智能在制造、金融、医疗、交通、教育、商业等诸多垂直领域助推数字化转型，并不断催生出具有产业通用性的新产品新业态，中国信通院数据研究中心统计，截至 2023 年一季度，全球人工智能企业超表 格 目 录表 1-1 近期代表性政策法规表 1-2 近期代表性监管框架表 1-3 近期可信相关代表性标准表 1-4 近期代表性企业可信探索表 4-1 可信 AI 检测指标体系-7-8-9-10-53-.可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I01第可信 AI 技术和应用进展白皮书 2023一章 人工智能迈向发展新阶段1.1 人工智能发展迎来全新时代优化算法、通用数据、硬件算力推动人工智能技术底座不断夯实。算法层面，已开启千亿级甚至万亿级参数量预训练模型的研发热潮，助推深度学习技术突破，加速人工智能外溢性和普惠性发展。数据层面，人工智能快速发展推动数据规模不断上升，并呈现多模态发展态势，数据服务进入深度定制化阶段，各方正在积极建设高质量数据集以支撑知识驱动的人工智能发展。算力层面，单点算力持续突破，面向训练和推理用的芯片快速演进，新架构不断研究，类脑芯片、存内计算、量子计算等加快探索。近期，大模型为代表的生成式人工智能正在发挥纽带效应，以通用智能体、具身智能和类脑智能等为代表的通用人工智能可能带来新一轮生产力范式变革。政策关注引导人工智能赋能产业应用，数实融合推动经济发展。各国将人工智能作为构建核心竞争力的重要领域之一，加快部署人工智能工程化落地，产业规模持续扩大。IDC 数据显示，2022 年全球人工智能市场收入达 4497 亿美元，同比增长 17.3%；预计 2023年收入达 5373 亿美元，同比增长 19.5%。中国依托庞大的制造业规模、丰富的应用场景和海量数据资源，加强数实融合布局，人工智能在制造、金融、医疗、交通、教育、商业等诸多垂直领域助推数字化转型，并不断催生出具有产业通用性的新产品新业态，中国信通院数据研究中心统计，截至 2023 年一季度，全球人工智能企业超表 格 目 录表 1-1 近期代表性政策法规表 1-2 近期代表性监管框架表 1-3 近期可信相关代表性标准表 1-4 近期代表性企业可信探索表 4-1 可信 AI 检测指标体系-7-8-9-10-53-.可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I020328000 家，中国约占 15%。大模型降低人工智能应用门槛，推动产业应用创新，应用生态初步显现。大模型是传统人工智能能力的集大成者和新业态的创造者，一方面降低人工智能应用门槛，通过零样本、小样本学习即可获得领先的效果，同时依托“预训练+精调”等开发范式加速 AI 工程化应用落地进程。另一方面驱动产业应用创新，使传统任务系统架构大幅简化，降低生产成本，提升应用效果和效率，加速数据和模型应用闭环建设，推动形成智能能力的生产和消费模式，在广告、营销、文娱、教育等场景快速适应并实现智能化升级，塑造形成新兴商业模式，引领数字经济新浪潮。1.2 人工智能可信面临全新挑战人工智能固有技术风险持续放大，可信 AI 技术成为 AI 领域关键底层能力。以深度学习为核心的人工智能技术在应用中暴露出由其自身特性引发的风险隐患：一是深度学习算法存在的设计漏洞、恶意攻击等问题引发安全风险，人工智能系统可靠性难以得到足够信任；二是算法的高度复杂性和不确定性、模型运行的强自主性导致“黑箱”问题和不可解释；三是数据中已经存在的偏见歧视可能被算法进一步固化，导致生成的智能决策形成偏见；四是训练数据的收集、使用、共享可能导致对个人隐私的侵犯和滥用，用户常常需要在 AI 带来便利与隐私保护之间寻求平衡。以 AI 安全和鲁棒性、隐私保护、公平性和可解释性为核心的可信 AI 技术在数据安全、算法安全和系统安全等方面持续发力，成为关键的人工智能底层能力，并正由单点的可信 AI 技术解决方案发展向包含事前评估、事中攻防和事后治理的人工智能模型全生命周期管理发展。来源：蚂蚁集团图 1-1 可信人工智能技术发展大模型在技术、产业和社会等多方面引发新问题，可信需求更加凸显。从技术维度来看，大模型使用深度神经网络结构，其继承于深度学习的自有技术局限进一步放大，模型不可解释、数据模型窃取等问题凸显。从产业维度来看，大模型潜在的垄断风险，在赋能产业的同时可能发生产业链风险传递；大模型本身参数规模大、性能相对较强，而配套的标准、评估体系的不健全、不规范将威胁产业安全。从社会维度来看，大模型高效生成信息的能力可能带来对弱势群体权利的侵害、对劳动力的替代，并可能降低有害信息传播的门槛，增大社会安全风险。随着 AI 技术向巨量参数大模型和通用人工智能深入发展，在模型尤其是生成式大模型提供公众服务之前，相应的可信 AI 技术问题更加复杂，既需要安全意识的长期到位，也需要技术上的投入和突破。可信 AI 技术和应用进展白皮书 2023可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I020328000 家，中国约占 15%。大模型降低人工智能应用门槛，推动产业应用创新，应用生态初步显现。大模型是传统人工智能能力的集大成者和新业态的创造者，一方面降低人工智能应用门槛，通过零样本、小样本学习即可获得领先的效果，同时依托“预训练+精调”等开发范式加速 AI 工程化应用落地进程。另一方面驱动产业应用创新，使传统任务系统架构大幅简化，降低生产成本，提升应用效果和效率，加速数据和模型应用闭环建设，推动形成智能能力的生产和消费模式，在广告、营销、文娱、教育等场景快速适应并实现智能化升级，塑造形成新兴商业模式，引领数字经济新浪潮。1.2 人工智能可信面临全新挑战人工智能固有技术风险持续放大，可信 AI 技术成为 AI 领域关键底层能力。以深度学习为核心的人工智能技术在应用中暴露出由其自身特性引发的风险隐患：一是深度学习算法存在的设计漏洞、恶意攻击等问题引发安全风险，人工智能系统可靠性难以得到足够信任；二是算法的高度复杂性和不确定性、模型运行的强自主性导致“黑箱”问题和不可解释；三是数据中已经存在的偏见歧视可能被算法进一步固化，导致生成的智能决策形成偏见；四是训练数据的收集、使用、共享可能导致对个人隐私的侵犯和滥用，用户常常需要在 AI 带来便利与隐私保护之间寻求平衡。以 AI 安全和鲁棒性、隐私保护、公平性和可解释性为核心的可信 AI 技术在数据安全、算法安全和系统安全等方面持续发力，成为关键的人工智能底层能力，并正由单点的可信 AI 技术解决方案发展向包含事前评估、事中攻防和事后治理的人工智能模型全生命周期管理发展。来源：蚂蚁集团图 1-1 可信人工智能技术发展大模型在技术、产业和社会等多方面引发新问题，可信需求更加凸显。从技术维度来看，大模型使用深度神经网络结构，其继承于深度学习的自有技术局限进一步放大，模型不可解释、数据模型窃取等问题凸显。从产业维度来看，大模型潜在的垄断风险，在赋能产业的同时可能发生产业链风险传递；大模型本身参数规模大、性能相对较强，而配套的标准、评估体系的不健全、不规范将威胁产业安全。从社会维度来看，大模型高效生成信息的能力可能带来对弱势群体权利的侵害、对劳动力的替代，并可能降低有害信息传播的门槛，增大社会安全风险。随着 AI 技术向巨量参数大模型和通用人工智能深入发展，在模型尤其是生成式大模型提供公众服务之前，相应的可信 AI 技术问题更加复杂，既需要安全意识的长期到位，也需要技术上的投入和突破。可信 AI 技术和应用进展白皮书 2023可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I0405可信 AI 技术和应用进展白皮书 2023来源：中国信息通信研究院图 1-2 大模型引发的不同维度风险受益于大模型技术快速迭代及“模型即服务”趋势显现，传统企业可享受低成本构建应用模型的便利，经济社会进入与人工智能全面融合发展新阶段，也可能形成新的风险。参考中国新一代人工智能科技产业发展（2023）对人工智能应用领域的判断，我们分析了大模型时代智慧城市、制造、金融、教育、医疗等领域应用风险：智慧城市可能因数据过度收集而增加数据监管难度，威胁公民、企业甚至国家安全；制造场景数据合规性、可信度未知，质量和安全层面均存有疑问，可能因错误指令导致机器人运行故障；医疗场景一旦生成错误诊疗方案，严重情况下将有致命风险，且事故责任主体难以确认；金融场景涉及客户隐私保护和公平性问题，如对特定人群的信用偏见产生贷款等服务歧视；教育场景涉及误导及帮助学生利用生成类工具投机取巧的学术伦理问题；新媒体和数字内容场景下可能存在虚假内容生成、知识产权归属和侵犯等问题。来源：根据公开资料整理图 1-3 典型场景风险分析1.3 全球人工智能治理机制进展1.3.1 基于政策法规的治理机制各地区人工智能治理各有亮点，整体向以“硬法”为保障的风险防控体系迈进，正在围绕生成式人工智能监管、人工智能伦理治理以及人工智能数据版权等议题发布政策法规，并开始出现人工智能治理评估框架和工具包，促进负责任、合乎道德的人工智能发展。可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I0405可信 AI 技术和应用进展白皮书 2023来源：中国信息通信研究院图 1-2 大模型引发的不同维度风险受益于大模型技术快速迭代及“模型即服务”趋势显现，传统企业可享受低成本构建应用模型的便利，经济社会进入与人工智能全面融合发展新阶段，也可能形成新的风险。参考中国新一代人工智能科技产业发展（2023）对人工智能应用领域的判断，我们分析了大模型时代智慧城市、制造、金融、教育、医疗等领域应用风险：智慧城市可能因数据过度收集而增加数据监管难度，威胁公民、企业甚至国家安全；制造场景数据合规性、可信度未知，质量和安全层面均存有疑问，可能因错误指令导致机器人运行故障；医疗场景一旦生成错误诊疗方案，严重情况下将有致命风险，且事故责任主体难以确认；金融场景涉及客户隐私保护和公平性问题，如对特定人群的信用偏见产生贷款等服务歧视；教育场景涉及误导及帮助学生利用生成类工具投机取巧的学术伦理问题；新媒体和数字内容场景下可能存在虚假内容生成、知识产权归属和侵犯等问题。来源：根据公开资料整理图 1-3 典型场景风险分析1.3 全球人工智能治理机制进展1.3.1 基于政策法规的治理机制各地区人工智能治理各有亮点，整体向以“硬法”为保障的风险防控体系迈进，正在围绕生成式人工智能监管、人工智能伦理治理以及人工智能数据版权等议题发布政策法规，并开始出现人工智能治理评估框架和工具包，促进负责任、合乎道德的人工智能发展。可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I0607来源：中国信息通信研究院图 1-4 可信人工智能技术与监管治理进程近期，大模型和 AIGC 的兴起带来可信 AI 治理新机遇和挑战。美国人工智能权利法案蓝图提出五项基本原则以避免人工智能系统滥用带来的危害，其中将公平和隐私保护放在首要位置；欧盟人工智能法案谈判授权草案重点确保人工智能系统由人监督，实现安全、透明、可追溯、非歧视和环保；意大利、西班牙、法国等政府于近期对 ChatGPT 所涉投诉展开调查，我国发布互联网信息服务深度合成管理规定生成式人工智能服务管理办法（征求意见稿），引导新技术健康发展；2023 年 4 月中共中央政治局会议也强调“要重视通用人工智能发展，营造创新生态，重视防范风险”。在地方层面，2021 年，上海率先成立国内首个可信 AI 评测中心，此外，上海发布的首部人工智能省级法规上海市促进人工智能产业发展条例提出探索分级治理和沙盒监管，设立人工智能伦理专家委员会；北京将推动实行包容审慎监管试点、建设通用人工智能领域科技伦理治理公共服务平台。表 1-1 近期代表性政策法规国家/组织发布时间政策法规内容英国2023 年 3 月发布人工智能新监管框架的提案支持创新的人工智能监管方法，涉及安全性、透明性、公平性、问责制、竞争和赔偿等五个方面。2023 年 5 月英国竞争监管机构对人工智能展开调查，专注于大型语言模型和生成人工智能等“基础模型”。美国2022 年 10 月白宫发布人工智能权利法案蓝图，提出五项原则：（1）安全有效的系统；（2）算法歧视保护；（3）数据隐私；（4）通知和解释清晰、及时和可访问；（5）设计自动系统失败时使用的替代方案、考虑因素和退出机制。2023 年 3 月美国科技政策办公室发布“促进隐私保护数据共享和分析的国家战略”，推进建设保护隐私数据共享和分析(PPDSA)技术，在公平的同时促进创新、建立问责机制、尽量减少弱势群体的风险。2023 年 4 月美国商务部国家电信和信息管理局发布人工智能问责政策征求意见。G72023 年 4 月七国集团数字与科技部长发布联合声明，同意对人工智能采取基于风险的监管，计划开展关于生成式人工智能的讨论。中国2022 年 11 月互联网信息办公室、工业和信息化部、公安部发布互联网信息服务深度合成管理规定，强调不得利用深度合成服务从事法律、行政法规禁止的活动，要求深度合成服务提供者落实信息安全主体责任。2023 年 4 月中国国家网信办就 AIGC 研发和应用发布了生成式人工智能服务管理办法征求意见稿。韩国2023 年 5 月将在2023年9月之前制定有关机器学习数据生成内容的新标准和指导方针，以最大限度地减少围绕人工智能生成内容的知识产权争议，确保数字合法性和可持续性。欧盟2023 年 5 月欧洲议会通过人工智能法案提案的谈判授权草案，新版本补充了针对通用目的人工智能和 GPT 等基础模型的管理制度，扩充了高风险人工智能覆盖范围，要求生成式人工智能模型的开发商必须在生成的内容中披露“来自于人工智能”，并公布训练数据中受版权保护的数据摘要等。可信 AI 技术和应用进展白皮书 2023可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I0607来源：中国信息通信研究院图 1-4 可信人工智能技术与监管治理进程近期，大模型和 AIGC 的兴起带来可信 AI 治理新机遇和挑战。美国人工智能权利法案蓝图提出五项基本原则以避免人工智能系统滥用带来的危害，其中将公平和隐私保护放在首要位置；欧盟人工智能法案谈判授权草案重点确保人工智能系统由人监督，实现安全、透明、可追溯、非歧视和环保；意大利、西班牙、法国等政府于近期对 ChatGPT 所涉投诉展开调查，我国发布互联网信息服务深度合成管理规定生成式人工智能服务管理办法（征求意见稿），引导新技术健康发展；2023 年 4 月中共中央政治局会议也强调“要重视通用人工智能发展，营造创新生态，重视防范风险”。在地方层面，2021 年，上海率先成立国内首个可信 AI 评测中心，此外，上海发布的首部人工智能省级法规上海市促进人工智能产业发展条例提出探索分级治理和沙盒监管，设立人工智能伦理专家委员会；北京将推动实行包容审慎监管试点、建设通用人工智能领域科技伦理治理公共服务平台。表 1-1 近期代表性政策法规国家/组织发布时间政策法规内容英国2023 年 3 月发布人工智能新监管框架的提案支持创新的人工智能监管方法，涉及安全性、透明性、公平性、问责制、竞争和赔偿等五个方面。2023 年 5 月英国竞争监管机构对人工智能展开调查，专注于大型语言模型和生成人工智能等“基础模型”。美国2022 年 10 月白宫发布人工智能权利法案蓝图，提出五项原则：（1）安全有效的系统；（2）算法歧视保护；（3）数据隐私；（4）通知和解释清晰、及时和可访问；（5）设计自动系统失败时使用的替代方案、考虑因素和退出机制。2023 年 3 月美国科技政策办公室发布“促进隐私保护数据共享和分析的国家战略”，推进建设保护隐私数据共享和分析(PPDSA)技术，在公平的同时促进创新、建立问责机制、尽量减少弱势群体的风险。2023 年 4 月美国商务部国家电信和信息管理局发布人工智能问责政策征求意见。G72023 年 4 月七国集团数字与科技部长发布联合声明，同意对人工智能采取基于风险的监管，计划开展关于生成式人工智能的讨论。中国2022 年 11 月互联网信息办公室、工业和信息化部、公安部发布互联网信息服务深度合成管理规定，强调不得利用深度合成服务从事法律、行政法规禁止的活动，要求深度合成服务提供者落实信息安全主体责任。2023 年 4 月中国国家网信办就 AIGC 研发和应用发布了生成式人工智能服务管理办法征求意见稿。韩国2023 年 5 月将在2023年9月之前制定有关机器学习数据生成内容的新标准和指导方针，以最大限度地减少围绕人工智能生成内容的知识产权争议，确保数字合法性和可持续性。欧盟2023 年 5 月欧洲议会通过人工智能法案提案的谈判授权草案，新版本补充了针对通用目的人工智能和 GPT 等基础模型的管理制度，扩充了高风险人工智能覆盖范围，要求生成式人工智能模型的开发商必须在生成的内容中披露“来自于人工智能”，并公布训练数据中受版权保护的数据摘要等。可信 AI 技术和应用进展白皮书 2023可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I0809澳大利亚2023 年 6 月考虑进行全面人工智能立法。工业部长 Ed Husic 发布两份讨论档案就如何使用人工智能征求各界意见，表示可能考虑在被视为高领域的领域实施禁令。来源：根据公开资料整理相关国家和组织也正在发布人工智能监管测试框架、可信人工智能风险管理评估指南、人工智能伦理建议等开放式规则，坚持共治性、灵活性原则，强化协同治理，重点关注技术创新与安全监管的兼顾方法，促使 AI 向善，打造可信人工智能良性生态。表 1-2 近期代表性监管框架国家/组织发布时间内容新加坡2022 年 5 月发布全球首个人工智能监管测试框架和工具集A.I.Verify，旨在融合测试和过程检查，促进企业和相关利益者之间透明性。美国-欧盟贸易和技术委员会2022 年 12 月发布可信人工智能和风险管理评估与衡量工具联合路线图，为人工智能风险管理和可信人工智能方法提供信息，推进与人工智能相关的国际标准机构的协作方法。美国国家标准与技术研究院2023 年 1 月发布 NISTAI 100-1AI 风险管理框架 1.0，为设计、开发、部署、应用 AI 系统的组织提供参考，以使之能够在控制多样性风险的同时，促进可信赖、负责任 AI 系统的开发与应用。美国国家科学基金会与澳大利亚国家科学机构 CSIRO2023 年 2 月合作资助解决负责任和合乎道德的人工智能问题，加速在负责任和道德的人工智能解决方案方面开创性研究。联合国教科文组织2023 年 3 月在 ChatGPT 应用取得巨大成功的背景下，呼吁各国立即全面实施其人工智能伦理建议。该建议书首次于 2021 年 11 月发布，是现有人工智能伦理框架之下的第一份全球公认的准则性文书，形成了全面包容、可执行性强的人工智能伦理治理框架。美国商会技术合作中心2023 年 3 月发布人工智能委员会报告，旨在抓住该技术广泛应用下的窗口期，鼓励人工智能创新和发展的同时规避因技术进步导致的国家安全风险。联合国2023 年 6 月计划于年底设立一个高级 AI 咨询机构，定期审查AI 治理安排，并就这些安排如何与人权、法治和共同利益保持一致提出建议。来源：根据公开资料整理1.3.2 基于生态共识的治理机制近期人工智能国内外标准研究主要涉及安全性、可靠性、公平性、风险管理等领域，并开始注重人工智能稳定性、透明性，以及人工智能应用后为组织和社会带来的伦理道德影响。但总体来看，现阶段针对通用大模型的标准仍较为欠缺，没有与人工智能的总体治理框架紧密结合。2021 年，中国信通院成立人工智能工程化推进委员会大模型工作组，联合各方共同梳理明晰大模型发展痛点难点问题，形成技术和应用评测标准体系；中国国家人工智能总体组已于 2023 年 5 月设立大模型专题组，并启动大模型标准化选题建议。表 1-3 近期可信相关代表性标准组织时间标准名称ISO/IEC2022 年 4 月信息技术 IT 治理 组织使用人工智能的治理影响2023 年 2 月信息技术 人工智能 风险管理指南在研人工智能 功能安全与人工智能系统在研信息技术 人工智能 机器学习模型与人工智能系统可解释性的目标和方法在研信息技术 人工智能 自动化人工智能系统的可控性在研信息技术 人工智能 人工智能系统的透明分类IEEE2023 年 5 月基于人工智能医疗设备的性能和安全评估2023 年 6 月基于人工智能图像识别服务的鲁棒性测试和评估在研人工智能组织治理的推荐实践在研可解释人工智能的架构框架指南在研自主和智能系统中仿真同理心的伦理考虑标准中国电子技术标准化研究院2023 年 3 月人工智能伦理治理标准化指南全国信息技术标准化技术委员会在研人工智能 深度学习框架多硬件平台适配技术规范在研人工智能 管理体系可信 AI 技术和应用进展白皮书 2023可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I可信A I0809澳大利亚2023 年 6 月考虑进行全面人工智能立法。工业部长 Ed Husic 发布两份讨论档案就如何使用人工智能征求各界意见，表示可能考虑在被视为高领域的领域实施禁令。来源：根据公开资料整理相关国家和组织也正在发布人工智能监管测试框架、可信人工智能风险管理评估指南、人工智能伦理建议等开放式规则，坚持共治性、灵活性原则，强化协同治理，重点关注技术创新与安全监管的兼顾方法，促使 AI 向善，打造可信人工智能良性生态。表 1-2 近期代表性监管框架国家/组织发布时间内容新加坡2022 年 5 月发布全球首个人工智能监管测试框架和工具集A.I.Verify，旨在融合测试和过程检查，促进企业和相关利益者之间透明性。美国-欧盟贸易和技术委员会2022 年 12 月发布可信人工智能和风险管理评估与衡量工具联合路线图，为人工智能风险管理和可信人工智能方法提供信息，推进与人工智能相关的国际标准机构的协作方法。美国国家标准与技术研究院2023 年 1 月发布 NISTAI 100-1AI 风险管理框架 1.0，为设计、开发、部署、应用 AI 系统的组织提供参考，以使之能够在控制多样性风险的同时，促进可信赖、负责任 AI 系统的开发与应用。美国国家科学基金会与澳大利亚国家科学机构 CSIRO2023 年 2 月合作资助解决负责任和合乎道德的人工智能问题，加速在负责任和道德的人工智能解决方案方面开创性研究。联合国教科文组织2023 年 3 月在 ChatGPT 应用取得巨大成功的背景下，呼吁各国立即全面实施其人工智能伦理建议。该建议书首次于 2021 年 11 月发布，是现有人工智能伦理框架之下的第一份全球公认的准则性文书，形成了全面包容、可执行性强的人工智能伦理治理框架。美国商会技术合作中心2023 年 3 月发布人工智能委员会报告，旨在抓住该技术广泛应用下的窗口期，鼓励人工智能创新和发展的同时规避因技术进步导致的国家安全风险。联合国2023 年 6 月计划于年底设立一个高级 AI 咨询机构，定期审查AI 治理安排，并就这些安排如何与人权、法治和共同利益保持一致提出建议。来源：根据公开资料整理1.3.2 基于生态共识的治理机制近期人工智能国内外标准研究主要涉及安全性、可靠性、公平性、风险管理等领域，并开始注重人工智