2022年可信人工智能产业生态发展报告.pdf

可信人工智能产业生态可信人工智能产业生态 发展发展报告报告 （20222022 年年）中国信息通信研究院华东分院 中国信息通信研究院云计算与大数据研究所 2022 年 9 月 前前 言言 随着新一轮科技革命和产业变革的深入推进，人工智能呈现爆发式成长，广泛应用于日常生产、生活的方方面面，社会各界对可信品质的关注度也提升到了前所未有的高度。近年来，各界均在不断探索将更多的可信理念从基础能力、算法技术、应用场景和产品设备等不同层面进行融合实践，实现了人工智能在安全性、可靠性、可解释、可问责等一系列内在属性的可信赖程度逐步提升，为构建我国可信人工智能产业生态提供了有益参考。为广泛吸纳产学研用各界的优秀经验，中国信息通信研究院联合京东探索研究院及政产学研多家单位共同编写可信人工智能产业生态发展报告，对人工智能产业融合可信要素的发展态势进行总体分析，研判发展趋势并提出措施建议，希望能为社会各界提供借鉴和参考。报告主要观点如下：全球可信人工智能发展态势向好。人工智能监管向立法执法拓展，欧盟发布全球首部人工智能法案，美国推出2022 算法问责法案，中国人工智能地方立法相继落地；稳定性、隐私保护成为热点，可解释性、公平性等研究正逐步开展；标准层面，行业组织、企业和研究机构共同推进，全力打造可信 AI 标准体系。可信人工智能产业生态加快形成。可信人工智能伦理、法律研究进一步深入，在硬件、技术、应用及支撑体系等层面蓬勃发展，形成兼顾稳定性、可解释性、隐私保护和公平性，涵盖基础硬件、技术平台、产品设备、应用场景等多元化产业生态。未来，可信人工智能向着形成产业共识、突出理念落地、优化技术布局、注重动态平衡、强化多元主体发展。凝聚强化产业共识，进一步向具体实践迈进，可信人工智能一体化研究和技术发展加速创新，能力之间的动态平衡引发更多关注，并形成了多元化主体参与的可信人工智能生态。建议从加强要素协同、前瞻布局研究、健全标准体系、强化可信流程管理、推动产业交流合作等方面推动深入落地。协调制度、技术、人员整体推进；前瞻布局技术研究，将可信理念融入全流程管理；健全标准评估体系，系统性推进更多领域可信落地；强化产业交流合作，共同打造可信产业生态朋友圈。可信人工智能正处于飞速发展阶段，我们的认识有待不断深化，报告存在不足之处，烦请不吝指正。目目 录录 一、可信人工智能发展背景.1（一）基本内涵.1（二）发展意义.4 二、可信人工智能发展态势.5（一）总体发展.5（二）政策规划.9（三）技术进展.10（四）标准建设.13 三、可信人工智能生态分析.16（一）基础能力.16（二）算法技术.23（三）应用场景.29（四）产品设备.39 四、可信人工智能前景展望.49（一）未来发展趋势.49（二）产业发展建议.52 图图 目目 录录 图 1 全球主要国家及组织可信人工智能发展动向.6 图 2 全球可信人工智能产业生态实践图.7 图 3 可信人工智能相关政策发展历程.10 图 4 可信人工智能领域论文数量（2017-2022.4）.11 图 5 全球/中国可信人工智能领域专利申请量（2017-2022.4）.12 图 6 可信人工智能领域专利申请量技术分布（2017-2022.4）.13 图 7 平台系统领域的典型可信应用.17 图 8 数据要素领域的典型可信应用.20 图 9 计算能力领域的典型应用.22 图 10 计算机视觉领域典型可信应用.24 图 11 智能语音领域的典型可信应用.27 图 12 自然语言处理领域的典型可信应用.28 图 13 智慧金融领域的典型可信需求与实践.30 图 14 智慧医疗领域的典型可信需求与实践.32 图 15 智慧教育领域的典型可信需求与实践.35 图 16 智能制造领域的典型可信需求与实践.36 图 17 智慧政务领域的典型可信需求与实践.39 图 18 医疗设备与器械领域的典型可信需求与实践.40 图 19 智能终端领域的典型可信需求与实践.42 图 20 智能驾驶领域的典型可信需求与实践.45 图 21 智能机器人领域的典型可信需求与实践.46 图 22 虚拟现实设备领域的典型可信需求与实践.48 表表 目目 录录 表 1 主流可信人工智能概念梳理.1 表 2 主要国际组织可信人工智能标准进展.14 可信人工智能产业生态发展报告（2022 年）1 一、可信人工智能发展背景一、可信人工智能发展背景（一）基本内涵（一）基本内涵 可信人工智能并不是一个新名词，随着可信实践的深入，产业界对可信人工智能的认识也在不断深化。目前关于可信人工智能概念解释繁多，我们梳理了一些具有代表性的观点。业界除了关注透明度、隐私保护、责任、公平等方面，近年更强调“人类对可信人工智能认识及素养的提升”以及“对提升人工智能可信度的可持续性工具的提出”。表 1 主流可信人工智能概念梳理 国家国家/组组织织 时间时间 文件文件/项目项目 内涵内涵 美国 2019.10 人工智能原则：国防部应用人工智能伦理建议 1）负责任；2）公平性；3）可追溯性；4）可靠性；5）可控性 2021.07“可信及负责任人工智能”项目 1）准确性；2）可解释性；3）隐私；4）可靠性；5）稳健性；6）安全性；7）减少有害偏见 2021.11 人工智能指南道德标准 人工智能系统开发、测试和审查符合最高公平性、问责制和透明度标准 欧盟 2017.01 关于机器人民事法规则的欧洲委员会建议 1）自由；2）隐私；3）正值和尊严；4）自决和不歧视；5）个人数据保护 2019.04 人 工 智 能 道 德 准则 1）受人类监管；2）技术的稳健性和安全性；3）隐私和数据管理；4）透明度；5）多样性、非歧视性和公平性；6）社会和环境福祉；7）问责制 日本 2017.02 人工智能学会伦理指针 1）对人类的贡献；2）遵守法律规则；3）尊重他人隐私权；4）公正性；5）安全性；6）诚信行为；7）对社会的责任 可信人工智能产业生态发展报告（2022 年）2 2017.07 AI发展纲领 开发者参照技术的特性在可能的范围内，应努力排除包含 AI 系统学习数据在内，所形成的一切偏见和其他不当差别对待的措施；开发者应遵守国际人权法、国际人道法，随时注意 AI 系统是否有不符合人类价值的行为 2019.03 以人为中心的人工智能社会原则 1）以人为中心；2）教育应用；3）隐私保护；4）安全保障；5）公平竞争；6）公平；7）问责和透明；8）创新 加拿大 2018.12 可靠的人工智能草案蒙特利尔宣言 1）福祉；2）自主；3）正义；4）隐私；5）知识；6）民主；7）责任 澳大利亚 2019.11 澳大利亚人工智能伦理框架 1）人类、社会和环境福祉；2）以人为本的价值观；3）公平；4）隐私保护和安全；5）可靠性和安全性；6）透明度和可解释性；7）可争论性；8）问责性 新西兰 2020.03 新西兰值得信赖的人 工 智 能 的 指 导 原则 1）公平和正义；2）可靠性、安全性和私密性；3）透明度；4）人类的监督和责任；5）福利 韩国 2020.12 国家人工智能伦理标准 1）人权保障；2）隐私保护；3）尊重多样性；4）禁止侵权；5）社会宣传；6）主体合作；7）数据管理；8）明确责任；9）确保安全；10）透明度 中国 2017.11 S36 香山会议 中国科学院何积丰院士首次提出可信人工智能，包含人、信息、物理三大要素 2019.08 人工智能行业自律公约 1）安全可控；2）透明可释；3）；保护隐私；4）明确责任；5）多元包容 2019.09 新一代人工智能伦理规范 1）增进人类福祉；2）促进公平公正；3）保护隐私安全；4）确保可控可信；5）强化责任担当；6）提升伦理素养 2021.07 可信人工智能白皮书 可信人工智能是从技术和工程实践的角度，落实伦理治理要求，实现创新发展和风险治理的有效平衡。可信包含可靠可控、透明可释、数据保护、明确责任、多元包容 5项可信要素 可信人工智能产业生态发展报告（2022 年）3 生命未来研究机构 2017.02 阿西洛马 AI原则 安全性、故障透明性、司法透明性、责任、价值观的调和、人类价值观、个人隐私权、自由和隐私、共享利益、共享繁荣、人类控制、非破坏 IEEE 2017.03 旨在推进人工智能和自治系统的伦理设计的 IEEE全球倡议书 1）人权；2）福祉；3）问责；4）透明；5）慎用 G20 2019.06 G20 人工智能原则 1）包容性增长、可持续发展及人类福祉；2）以人为本的价值观和公平；3）透明度和可解释性；4）健壮性、信息安全性和物理安全性；5）问责制 世界卫生组织 2021.06 健康领域人工智能伦理与治理指南 1）保护自主权；2）促进人类安全和福祉；3）确保透明度；4）促进问责制；5）确保公平；6）促进具有响应性和可持续性的工具 联合国教科文组织 2021.11 人工智能伦理问题建议书 1）相称性和不损害；2）安全和安保；3）公平和非歧视；4）可持续性；5）隐私权和数据保护；6）透明度和可解释性；7）责任和问责；8）人类的监督和决定；9）认识和素养 资料来源：根据公开资料整理 针对人工智能产业现状，切实结合当前发展需求，我们认为可信人工智能白皮书中对“可信人工智能”的表述更为贴切，因此本报告将沿用中国信通院所提出的内涵，即“可信反映了人工智能系统、产品和服务在安全性、可靠性、可解释、可问责等一系列内在属性的可信赖程度。”基于这一内涵，企业、院校和各类机构等各类参与者，在人工智能产业各个环节中，秉持可信理念，将可信贯穿研发、生产、经营等内部全流程，落实于算力、算法、数据等产业核心要素中，打造出全面融合可信要素的人工智能产业，构建形成了可信的人工智能产业生态。可信人工智能产业生态发展报告（2022 年）4（二）发展意义（二）发展意义 人工智能作为新一轮科技革命和产业变革的重要驱动力量，广泛应用于医疗、金融、交通等领域，带来了巨大的经济效益与社会效益。据 IDC 相关数据，2021 年全球人工智能产业规模为 3619 亿美元，并预计在 2022 年同比增长 19.6%，超过到 4300 亿美元。然而随着人工智能应用的深入，其自身的技术缺陷以及带来的决策偏见、使用安全等问题引发了信任危机，可信成为关注焦点。技术上，算法脆弱易受攻击带来的危险性；黑箱模型导致算法不透明，使得人们无法直观理解决策背后的原因。应用上，训练数据中存在的偏见歧视导致公平性缺失；以人脸识别技术为代表的生物识别信息的频繁使用增加了隐私泄露的可能。伦理上，人工智能系统决策复杂，难以界定责任主体，带来伦理安全问题。构建可信人工智能成为缓解和消除这些担忧的必然选择。学术界率先推开了可信人工智能的大门，在可信人工智能概念提出后，逐步推广可信共识。2020 年起，可信人工智能领域研究论文数量飞速增长，围绕鲁棒性、可解释性、隐私保护等方面的技术研究持续升温。随着产业界开始落地实践，针对人工智能产业化过程中的可信探索与实践不断成熟，融合可信要素的人工智能产业生态开始兴起。可信已经成为人工智能产业发展必备要素，驱动人工智能规范发展。人工智能只有可信可靠，才能获得可持续性发展。对用户而言，可信要素将推动人工智能技术黑箱趋于透明，增强用户对人工可信人工智能产业生态发展报告（2022 年）5 智能的信任感。对开发者而言，可解释的人工智能有助于全生命周期的企业管理，有助于履行内部报告和外部监管合规义务，确保应用和服务在最大程度上减少偏见。可信作为传统领域数字化转型赋能因子，培育数字经济新兴增长点。随着人工智能产业对可信的探索与实践不断成熟，其代表的透明度高、可解释性强、确定性高的特性将与国防、法律、医疗等领域深度结合，缓解当前应用人工智能时所遇到的隐私保护、系统稳定等问题，以可信赋能数字化转型，甚至衍生出新的细分领域赛道，促进传统产业生态健康高质量发展，成为数字经济新的可持续增长点。二、可信人工智能发展态势二、可信人工智能发展态势（一）总体发展（一）总体发展 可信人工智能处于快速发展中。2017 年可信人工智能的概念正式提出后，各国积极开展研究，随后可信理念深入到人工智能全生命周期，各项人工智能监管指南相继推出，2021 年后融合可信要素的人工智能产业生态开始构建。目前，企业已成为实践可信人工智能的主要力量，各大高校与行业组织也在积极同步推进打造人工智能可信生态环境。可信人工智能产业生态发展报告（2022 年）6 资料来源：中国信息通信研究院整理 图 1 全球主要国家及组织可信人工智能发展动向 总体来看，可信人工智能的发展与各国人工智能产业基础紧密关联，随着人工智能产业化过程中可信要素的融入，企业日益成为可信人工智能实践主体。以微软、谷歌为代表的美国科技巨头通过内部开设人工智能伦理委员会，以及发布专注于人工智能可解释、公平性等伦理服务及工具，开展可信人工智能探索工作；以商汤、腾讯为代表的中国头部科技企业通过发布行业内人工智能可解释、伦理等领域专业报告，分享各自在可信 AI 技术、标准、服务等相关实践；以 SynSence 为代表的欧洲企业通过在自身产品中融合可信元素，以提高 AI 工具服务的可信度；以 GuardKnox 为代表的以色列企业致力于将安全融入到智慧交通领域，实现“零信任”；以三星为代表的日韩企业则注重人工智能行业应用中隐私安全的保障。可信人工智能产业生态发展报告（2022 年）7 资料来源：中国信息通信研究院整理 图 2 全球可信人工智能产业生态实践图 在可信人工智能实践上，世界各国高度重视，在政策、技术、标准的研究制定上均采取了相关措施。美国、欧盟、中国依托人工智能技术、人才、产业优势，在可信人工智能研究及治理实践上处于全球领先，成为全球可信人工智能领跑者；以日本、韩国、加拿大等为代表的人工智能第二发展梯队的追赶正在加速，试图通过构建人工智能伦理标准打造人工智能健康发展环境。政策发布上，全球持续探索人工智能立法，推动可信人工智能范式法制化。自 2021 年以来，从欧盟发布人工智能领域的第一份综合性法案人工智能法案，到美国推出2022 算法问责法案，再到中国深圳、上海等各地方相继推动人工智能立法条例。各国针对人工智能算法的监测、人工智能应用的审查的相关监管法规不断增加，人工智能治理已进入建章立制阶段。可信人工智能产业生态发展报告（2022 年）8 技术研究上，提升人工智能系统稳定性、隐私保护技术占据可信人工智能技术研究主流，可解释性、公平性等技术研究紧随其后。当前以对抗训练、梯度屏蔽为代表的人工智能系统稳定性技术稳步发展，技术重点从数字域逐步向物理域扩展12，人工智能系统的稳定性测试技术成为科技巨头布局方向；以同态加密、多方安全计算、差分隐私等为代表的隐私安全技术发展迅速34，全球隐私计算专利数量迎来井喷；人工智能可解释性增强技术研究当前仍处于初期阶段，以谷歌、IBM、微软、腾讯为代表的科技巨头推出多个AI 可解释性工具及服务；提升人工智能公平性主流方法分别从数据和技术两方面入手，通过构建完整异构数据集及引入公平决策量化指标算法，以减轻决策偏差。标准研制上，行业组织成为可信人工智能标准重要推进者，涵盖多个可信人工智能领域。国际标准化组织和国际电工委员ISO/IEC 布局最早，涉及 AI 系统偏差、风险管理、AI 系统质量模型、神经网络鲁棒性等；电气和电子工程师协会（IEEE）主要以隐私、可解释为突破点；中国人工智能产业发展联盟（AIIA）牵头制定了可信 AI 操作指引，成立人工智能治理与可信委员会，并持续开展可信 AI 测试工具征集和可信 AI 试评估等落地实践。自 2021年起，中美两国加快了对可信人工智能领域标准研制工作的步伐，美国发布人工智能风险管理框架概念文件旨在降低人工智能系统风险；全国信标委人工智能分委会作为中国可信人工智能标准主可信人工智能产业生态发展报告（2022 年）9 要研制单位，持续推动人工智能 可信赖规范 第一部分：通用要求等可信赖人工智能标准系列研究工作。（二）政策规划（二）政策规划 2017 年以来，全球各个国家（地区）在可信人工智能领域进行了广泛的政策部署，内容主要涉及伦理道德、隐私保护、负责任、公平性、安全性等层面，在实施路径与侧重点方面体现出了一定的特色与差异。美国以政府和行业双轮驱动 AI 创新发展，维护人工智能领域的全球领导地位。美国以推动快速发展、降低创新门槛以及成本最小化为宗旨，政府和行业共同发力。一是制定基于性能的灵活性框架，权衡 AI 技术创新利弊，以适应 AI 应用程序的快速迭代和更新；二是设立行业准则、“安全港”、灵活监管、监管例外、监管豁免等内容，促进效益最大化的同时最小化潜在风险；三是制定可信 AI标准指南为产业创新与发展提供详细路线图。欧盟致力于构建 AI 信任生态系统与监管框架，确保成为数字化转型的领先者。一是以合法性、伦理性和鲁棒性为基准制定可信人工智能框架，提出了实现可信 AI 的方法与评价准则，为培育可信生态提供参照；二是通过发布走向卓越与信任欧盟人工智能监管新路径，依托私营与公共投资的相互合作，为建立可信 AI 生态创造政策环境；三是规划制定人工智能法并定位全球最高标准，通过制订灵活完整的规则为可信应用生态提供法制保障。可信人工智能产业生态发展报告（2022 年）10 我国协调发展与治理，凭借规范化治理确保人工智能可信赖。一是从规则、标准、评估、管控等层面的战略角度出发，协调并明确发展与治理的关系；二是通过成立新一代人工智能治理专业委员会，为人工智能治理框架和行动指南提供技术与规则支撑，积极引导全社会负责任地开展 AI 研发与应用活动；三是通过在个人信息保护、网络安全、数据安全等领域强化立法与执法力度，构建可信人工智能底层要素的坚固法律体系，进而确保各领域应用安全可靠。资料来源：根据公开资料整理 图 3 可信人工智能相关政策发展历程（三）技术进展（三）技术进展 当前对于可信人工智能技术聚焦在提升人工智能系统稳定性、可解释性、隐私保护、公平性等方面，这些技术构成了可信人工智能的基础支撑能力。我们结合当前产业与技术发展最新趋势及热点，对相关文献及专利检索分析，得出如下发现。可信人工智能产业生态发展报告（2022 年）11 可信人工智能领域论文发表量在人工智能论文发表量占比逐步提升，接近 2%；美国、中国、英国是全球可信人工智能领域论文发表主要国家，占比超过全球 50%。可信人工智能逐渐进入研究者视野，各大科技巨头加速实践落地，可信人工智能领域论文数量迎来井喷，2021 年可信人工智能领域论文数量同比增长 116%，在全球人工智能领域论文数量中占比也由 2020 年的 0.8%提升到 1.7%左右。2003 年至 2022年 4 月，全球可信人工智能领域相关论文数量论文共计 7059 篇。美国、中国、英国是可信人工智能领域论文发表的主要国家，三国发表的论文总数占全球论文总数 53%以上。数据来源：Web of Science官网 图 4 可信人工智能领域论文数量（2017-2022.4）1 可信人工智能领域，中国累计专利申请量与授权量居全球首位，在全球申请数占比持续增长。全球可信人工智能领域专利申请量快速增长，2017 年至 2022 年 4 月累计达 9174 件，我国申请量7339 件，占比 80%。全球累计可信人工智能领域专利授权量达 1968 1 中国信息通信研究院根据 Web of Science 检索整理。可信人工智能产业生态发展报告（2022 年）12 件，我国累计授权量 1432 件，占比达 73%。自 2018 年开始，全球可信人工智能相关专利申请数量迅速增长，这或许与全球各国开始重视并开展可信人工智能相关研究有关，其中 2022 年专利申请数量下降可能受部分专利申请流程存在滞后性的影响。我国在全球可信人工智能领域专利申请数占比处于持续增长，这可能与我国较强的人工智能技术基础、人工智能企业更加注重知识产权保护和我国大力倡导发展“可信赖人工智能”等因素有关。数据来源：incoPat 图 5 全球/中国可信人工智能领域专利申请量（2017-2022.4）2 专利技术分布上，针对人工智能隐私保护、提升人工智能系统稳定性领域专利占据主流，可解释性、公平性等领域专利稍显落后。从可信人工智能领域技术来看，主要集中于隐私保护方向与人工智能系统稳定性方向，隐私保护领域专利占比 63%，人工智能系 2 中国信息通信研究院根据 incoPat 检索整理。可信人工智能产业生态发展报告（2022 年）13 统稳定性领域专利占比 21%，对于人工智能可解释性与公平性方向专利研究较少。这或许与可信人工智能产业应用成熟度有关，由于隐私保护与系统稳定性相关技术应用场景较为广泛，且成熟度高，因此这两个方向的专利申请呈集聚趋势；而人工智能可解释性与公平性由于相关实践应用落地不够，且相关技术研究仍处于初期阶段，因此针对这两个领域的专利申请相对较少。数据来源：incoPat 图 6 可信人工智能领域专利申请量技术分布（2017-2022.4）3（四）标准建设（四）标准建设 自 2017 年以来，国际标准化组织与各国政府陆续布局可信人工智能标准。总体来说，当前对于可信人工智能的研究，主要涉及安全性、可靠性、公平性、透明性以及对人工智能的风险评估等。综合各可信人工智能相关标准看，当前标准研究更多集中在隐私安全、伦理道德、风险评估，以及人工智能在金融、医疗等领域的可信应用；针对稳定性、透明度等领域，相关标准研究稍显不足。3 中国信息通信研究院根据 incoPat 检索整理。可信人工智能产业生态发展报告（2022 年）14 表 2 主要国际组织可信人工智能标准进展 国家国家/组组织织 时间时间 标准标准 领域领域 ISO/IEC 2020.05 信息技术 人工智能 人工智能可信度概述 可信概念 2021.03 人工智能 神经网络鲁棒性评价 第 1部分：概述 稳定性 2021.11 信息技术 人工智能 人工智能系统和人工智能辅助决策的偏见 公平性 在研 信息技术 人工智能 风险管理 风险管理 在研 信息技术 人工智能 伦理和社会关注概述 伦理道德 在研 人工智能 神经网络鲁棒性评价 第 2部分：常规方法选择方式 稳定性 IEEE 在研 P7000系列（15项标准）伦理道德、隐私安全、透明度、公平性、可解释 在研 可解释人工智能结构框架指南 可解释 在研 自适应教学系统中人工智能伦理设计实践 伦理道德 2021.01 金融服务可信数据和人工智能系统 综合 ITU-T 在研 技术报告：全同态加密技术为机器学习中的安全推理服务和数据聚合提供安全指导 隐私安全 在研 技术报告：人工智能安全技术应用安全管理指南 隐私安全 资料来源：中国信息通信研究院整理 国际标准组织以 ISO/IEC、IEEE 等为代表，在可信人工智能标准领域抢先布局。国际标准化组织和国际电工委员 ISO/IEC 在可信人工智能领域布局最早，其下设的 WG3 工作组专门开展可信人工智能研究，并已布局 10 余项可信人工智能标准研究，涉及 AI 系统偏差、风险管理、AI 系统质量模型、神经网络鲁棒性等。电气和电子工程师协会（IEEE）主要以隐私、可解释为突破点，其下辖工作组开展了一系列人工智能伦理相关标准研究工作。其中，P7000 系列涉及伦理、透明度、隐私、安全机制等，是可信人工智能领域伦理可信人工智能产业生态发展报告（2022 年）15 方面较为权威的标准，受到业界广泛关注。截至 2022年 4 月，IEEE P7000 系列已至少开展 15 项标准研制工作。国际电信联盟电信标准化部门（ITU-T）下设多个人工智能工作组，其中 SG17 工作组将人工智能安全视为未来重要工作方向，因此致力于研究相关隐私安全标准，截至 2022 年 4 月，SG17 已有三份在研技术报告，涵盖机器学习安全应用、人工智能技术应用安全管理等方面。美国、欧盟具备依托人工智能领域领先优势，加强在可信人工智能领域标准研究，构建可信人工智能生态。美国国家标准和技术研究院（NIST）隶属于美国商务部，在美国政府支持下进行人工智能研究工作。早在 2018 年 NIST 就启动了人工智能研究与标准基础项目，涉及人工智能系统安全性、可解释性、透明性等标准；2021年 NIST 发布人工智能风险管理框架概念文件等报告，旨在建立可信赖负责任的人工智能框架，打造可信人工智能生态，维持美国在全球人工智能领域领导地位。欧盟从伦理向监管推进，抢占全球伦理规则主导权。从人工智能道德准则草案到人工智能法草案，欧盟希望通过抢占全球伦理规则主导权，构建“卓越生态系统”和“信任生态系统”，将欧洲建设成为全球人工智能研究和创新的“灯塔中心”。中国科研机构及相关企业积极参与可信人工智能领域相关标准制定，涉及隐私安全、算法安全、风险管理、行业应用等多个方面，标准类型囊括国际标准、国家标准、行业标准等各类型，参与可信人工智能产业生态发展报告（2022 年）16 者覆盖了中国信通院、电子标准院等各类研究机构，以及华为、百度、阿里等人工智能头部企业。三三、可信人工智能生态分析可信人工智能生态分析 可信已经在人工智能产业各个环节中落地，贯穿研发、生产、经营等内部全流程，打造出全面融合可信要素的人工智能产业，涵盖基础能力、理论技术、应用场景与产品设备等多元化模块。其中，基础能力提供基于不同业务需求的“最优可信设计”，构筑“安全、透明、可追踪、可计量”的数据体系，不断提升可信计算效能。算法技术在隐私保护、数据标注、精准识别、噪声处理等方面不断提升算法公平性、稳定性与可解释性水平567。应用场景方面目前已涌现出面向隐私安全保护、风险识别与控制、数据传输与共享等的诸多案例89，并已在金融、医药、教育、制造等领域实现商业化应用。产品设备方面已逐步渗透至医疗设备与器械、智能终端、智能驾驶、智能机器人、虚拟现实设备等领域，打造兼具稳定性、合规性、可解释性等特征的功能体系。（一）基础能力（一）基础能力 1.平台系统 人工智能平台和系统通过搭建云边端协同模式，保证模型在不同的现实环境中都能部署和运营，帮助企业和开发者将精力聚焦在算法开发、模型验证和业务运营中，有效提升研发实施效率。近年来，随着机器学习和深度学习算法的深入实践，以及预训练模型、低代码/无代码接口、自助服务和生命周期自动化工具的快速发展，可信人工智能产业生态发展报告（2022 年）17 与人工智能平台发展相互促进，更具有可信属性的人工智能平台系统迅速发展。目前，人工智能平台系统与可信理念的融合在数据处理、模型构建、部署和支撑服务等方面还面临不少挑战。数据处理方面，数据接入、数据分析、数据管理和数据标注已经普遍实现，团队标注成为标配，数据预处理的自动化实现和无监督数据增强还需要持续探索。模型构建方面，虽然现有人工智能平台和系统普遍配置了丰富框架和算法，支持交互式、可视化、自动化多种开发模式和单机/分布式多种训练方式，但是模型评估建议能力和可解释性还需要增强，特别是面向文本、语音和视频场景的自动学习建模模版能力。此外，还需要提升基于规则的模型自动更新和模型在端云设备的协同部署能力，加强GPU虚拟化和池化，优化数据和模型的安全性。资料来源：中国信息通信研究院整理 图 7 平台系统领域的典型可信应用 人工智能企业主要围绕业务生命周期，重点构建系列可信能力。一是将内置模型保护于框架中，实现模型的安全、可信，通过鲁棒性评测、对抗测评、对抗训练、模型加密等方法增强模型保护可信人工智能产业生态发展报告（2022 年）18 能力，为人工智能模型安全性评估和增强提供支持。以对抗训练为例1011，通过在输入上进行梯度上升，在参数上进行梯度下降，从而向增大损失的方向增加扰动。二是搭建混合引擎架构，实现跨场景可信协同，集成运用隐私评估、差分训练、联邦学习等多种技术方法91112131429，通过数据安全交换协议有效利用多源数据，仅协同经过处理后的、不带有隐私信息的梯度和模型信息，在保证用户隐私数据保护的前提下实现跨场景协同。一些场景和平台中，也选择加入区块链技术实现全流程的可记录、可验证、可追溯、可审计，以证书授权实现双向认证，确保参与方身份真实性。三是整合运用多种可解释技术，全面提升可解释性，融合语义级可解释技术、可解释方法工具集等技术，建立适当可视化机制尝试评估和解释模型的中间状态，整合数据治理、资源管理和应用管理核心能力，大幅提高模型的可解释性，让用户更理解、信任并有效地使用模型。早在 2016 年起，谷歌、IBM、微软、腾讯等科技巨头就相继推出可解释性工具与服务，探索人工智能算法可解释化。四是持续加强虚拟化和池化，提升运营维护和运营调度的可信能力，将服务器等物理资源抽象成逻辑资源，通过区分优先次序并及时调度分配工作负载，让 CPU、内存、磁盘等硬件变成可以动态管理的“资源池”，并实现计算资源的隔离。2.数据安全 数据是人工智能三大要素之一。人类把需要计算机识别和分辨的内容打上标签，让计算机不断地识别这些特征标签，从而让计算可信人工智能产业生态发展报告（2022 年）19 机“学会”人类的理解和判断。只有经过大量的训练，人工智能算法才能总结出规律并顺利应用到新的样本上，因此，大量、多种类、标注精准的数据对人工智能训练效果极为重要。可信人工智能在数据安全治理方面的应用主要集中在基于传统的人工方式难以处理的规模庞大、类型复杂的数据资产管理与分类分级，涉及安全、隐私计算、存证溯源、数据控制、计算处理等多种技术151617。在网络安全法数据安全法个人信息保护法等一系列法律法规和政策文件出台后，金融、电信、工业等行业均已出台行业标准，形成以法律法规和行业标准为引导加快推进可信进展的局面。企业主要以训练样本合成、可信多位标签、存储治理追踪、智能巡检与兜底等方式，通过建设自动化的数据分类分级能力，确保分散在组织各处各层面的各类数据能够被及时发现和准确标注，实现智能化的自动分类分级和安全保护。可信贯穿数据采集、标注、存储和巡检全过程。在数据采集环节，以训练样本合成替代敏感数据采集。由于部分数据涉及到身份证号码、住址等个人隐私信息，敏感程度很高，收集难度极大，因此在数据收集阶段，业内主要使用公开样本数据和自主合成样本的方法，一方面收集和使用相关公开赛事的数据样本，另一方面开发隐私数据训练样本自动合成算法来模拟真实样本数据。为解决数据量不足的困难，大多选择使用旋转、加噪等数据增强方法来扩充训练样本。通过构建可信的多维标签体系，进行灵活的数据分类分级，融合目标检测、光学字符识别、图像分类、人脸识别、文本校可信人工智能产业生态发展报告（2022 年）20 验、风格识别等算法模型，结合多方信息联合判定校验，输出多维度标签，进一步提升隐私数据识别和治理的准确性，克服单一模型难以应对复杂的分级场景和不同治理需求、解释性较弱的问题。严格执行分级加密存储和明暗水印追踪，对于分类分级识别后的高敏感数据，通常需要经过加密后进行存储，基于区块链、数据沙箱等技术，实现长久稳固储存、全方位安全防护、安全共享；在文件分发流转过程中，添加对应的明暗水印以便数据泄露后展开追踪调查。强化智能巡检与兜底，推动可信能力的持续建设与优化，依赖安全运营专家人工验证需要耗费大量的人力，面对新增业务数据也很难及时发现异常，极易漏审、误审；通过智能巡检和兜底机制，将安全专家经验与机器学习能力相结合，并结合黑盒验证、红蓝演练等推动可信能力的持续建设与优化。资料来源：中国信息通信研究院整理 图 8 数据要素领域的典型可信应用 3.计算能力 人工智能发展的关键要素是数据，而让数据发挥作用的关键则是算力。目前，各行各业都存在更多维度、更大深度的智能需求，可信人工智能产业生态发展报告（2022 年）21 而在这背后需要更多的算力来为人工智能算法提供处理能力。算力已经成为助推经济发展的动力，据中国信通院测算，在算力中每投入1元，可带动3-4元经济产出，“算力正成为数字经济时代的重要驱动力”已成为共识。在这种情况下，以人工智能芯片为代表的计算架构也承担了越来越多的敏感数据计算职能，对可信有极大的需求。例如，智能驾驶场景下，从感知系统进行数据收集，到车载计算平台实时处理，再到快速传输分析结果，每一个环节都离不开人工智能芯片的支持；由于智能驾驶场景较为复杂，一旦失效可能引发严重后果，对稳定性有很高要求。基于此，建立可信智能计算能力成为人工智能算力发展的一大趋势，欧盟委员会人工智能高级专家组（AI HLEG）于2019年和2021年发布的可信人工智能政策投资建议和人工智能联合计划就建议共同研发边缘端AI芯片，从基础软硬件方面支撑可信AI系统。可信人工智能产业生态发展报告（2022 年）22 资料来源：中国信息通信研究院整理 图 9 计算能力领域的典型应用 可信执行环境（Trusted Execution Environment，TEE）是人工智能芯片常见的可信技术，是密码学与系统安全的结合，通过软硬件方法在中央处理器中构建安全区域，保护内部加载程序和数据的机密性与完整性，隔离的硬件设备提升了可信计算抵御攻击的能力，同时也可避免额外的通信过程以及公钥密码学中大量的计算开销。目前，主流 TEE 技术以 X86 指令集架构的 Intel SGX 和 ARM指令集架构的 TrustZone为代表，中国芯片厂商起步稍晚。可信计算框架取得阶段性进展，构建系列可信能力，英特尔可信计算框架（TCF）将密集运算和隐私数据处理工作转移至区块链下，以此解决区块链的可扩展性和隐私问题，并使用可信执行环境保证网络弹性和安全性；模型部署上，模型训练工具链迁移能力不足，对数据隔离条件下的训练、敏感数据的加密训练等都未能提供有效支持，需要通过开放模型生产工具链平台，向上对接训练数据协议、向下可信人工智能产业生态发展报告（2022 年）23 具备规范模型安全、模型格式等能力。目前，全球首个内存安全的可信安全计算服务框架 MesaTEE 利用 Intel SGX 技术和 HMS内存安全技术，兼顾云上数据代码完整性、保密性和内存安全带来的不可绕过性；全场景 AI 框架昇思 MindSpore 成为首个获得 CC EAL2+证书的人工智能框架。通用的和可解释的智能芯片设计流程将成为下一个发展重点。许多芯片设计为了适应不断变化的模型结构，需要在设计的通用性和效率之间寻求平衡，带来较大设计难度。未来，可信的智能芯片设计可能使用神经符号化方法构建可组合的模型，将芯片转变为由对应算法、具有可解释硬件模块的集合，从而在保证通用性和可解释性的前提下实现所需的性能。（二）算法技（二）算法技术术 1.计算机视觉 计算机视觉技术囊括很多能够理解图像（包括图片和视频）的算法23272830，得益于深度学习技术的不断进步，计算机视觉在近些年飞速发展，在感知领域的研究已经相对成熟，内容合成与图像识别等某些人工智能任务已经能够通过图灵测试，并在金融、安防、制造等场景中落地，拥有一批相对成熟的产品应用。在为生产生活带来便利的同时，计算机视觉算法的应用也在隐私泄露、识别失效、偏见歧视等方面引发新关注。例如，在商业零售领域对用户在不知情的情况下进行人脸识别和营销活动等产生了个人信息和隐私保护问题，造成了恶劣的社会影响。面具仿冒、对抗样本攻击可能造成识别失效，此外，也可能涉及到针对不同人可信人工智能产业生态发展报告（2022 年）24 种、老年人的偏见歧视等伦理问题，美国一些零售店和警务工作中使用的面部识别技术会错误识别黑人，引发了抗议和监管。资料来源：中国信息通信研究院整理 图 10 计算机视觉领域典型可信应用 为了增强计算机视觉算法的可信能力，产业界进行了多种尝试，不断提升计算机视觉算法可信水平，为重要产品提供核心能力支撑。一是通过联合解译和认知推理深入理解场景或事件，增强可解释性，人造物体和场景设计中暗含了潜在的、未以像素表示的实体和关系（近似于人类的常识），通过推理这些可见像素以外的不可见因素，使用有限的数据来实现各种任务的泛化17181926，形成“以小数据驱动大任务”的新型范式。二是采用数学可证明的形式，融合不同形态的噪声进行改造，以掩码等方法使其满足不可逆、可撤销、不可关联等特性，提升模型鲁棒性，避免样本不均衡，实现安