2024年AI可信度分析.pdf

1 2024 云安全联盟大中华区版权所有 AI 可信度分析可信度分析 6 2024 云安全联盟大中华区版权所有 序言序言 随着人工智能（AI）技术的迅速崛起，AI 已经成为推动全球科技创新和社会进步的重要动力之一。从智能家居到无人驾驶、从医疗诊断到金融风控，AI 技术正以前所未有的速度改变着各行各业的发展方式。然而，随着 AI 的广泛应用，技术本身的透明度、决策的公正性及系统的安全性等问题也逐渐浮出水面，成为社会各界关注的焦点。AI 应用的蓬勃发展带来了诸如模型盗窃、数据泄露、数据中毒等新的安全威胁。这不仅影响了企业的经济效益，更加剧了人们对 AI 系统可信度的担忧。特别是在医疗、司法和金融等高度依赖准确性和公正性的领域，AI 决策的透明性与公正性问题尤为关键。随着 AI 技术愈加深刻地融入日常生活，全球对 AI 系统的可信性要求也在不断提高。面对这些挑战，CSA大中华区发布了AI可信度分析报告，旨在为AI开发者、企业和政策制定者提供全方位的指导和标准体系。本报告从可靠性、安全性、透明性和公平性四大维度，系统性地分析了 AI 技术在实际应用中的可信性问题，并深入探讨了提高 AI 系统可信度的策略和方法。报告不仅评估了 AI 技术在不同领域的现状，还结合全球标准、行业实践及最新的技术进展，提出了一系列具体的改进措施。在数字化转型深入进行之际，发展可信的人工智能已成为全球共识。通过本报告的发布，我们希望为政策制定者、行业从业者以及研究人员提供有价值的参考，合力推动 AI技术朝着安全可信的方向不断发展进步。李雨航 Yale Li CSA 大中华区主席兼研究院长 7 2024 云安全联盟大中华区版权所有 目录 1 引言.10 1.1 研究背景与重要性.10 1.1.1 人工智能发展为社会发展注入新动能.10 1.1.2 人工智能应用引发可信危机.10 1.1.3 可信人工智能成为全球共识.12 1.2 报告目的与研究问题.13 2 AI 可信度的定义与标准.13 2.1 可信度的定义.13 2.2 国际 AI 可信度标准与框架.16 2.2.1 联合国.17 2.2.2 美国17 2.2.3 英国.17 2.2.4 欧盟.18 2.2.5 其他国家.18 2.2.6 国际标准.18 2.2.7 企业标准及框架.18 2.2.8 学术研究.19 2.3 WDTA AI 相关标准工作.19 2.3.1 生成式 AI 应用安全标准.19 2.3.2 大语言模型安全标准.21 2.3.3 大模型供应链安全标准.21 3 AI 的应用现状分析.22 3.1 AI 赋能千行百业.22 3.1.1 AI 分类及应用行业总览.22 3.1.2 AI 在重点行业的应用情况.24 3.2 现有 AI 大小模型可信度问题带来的挑战.26 8 2024 云安全联盟大中华区版权所有 3.2.1 AI 全生命周期面临的安全风险.27 3.2.2 AI 应用实践与推广造成的社会危机.28 3.3 典型案例分析.28 4 AI 可信度评估方法.30 4.1 数据质量与处理.30 4.1.1 数据来源.30 4.1.2 数据清洗.30 4.1.3 数据质量评估.31 4.1.4 数据标注.31 4.1.5 数据增强.32 4.2 模型设计与开发过程.32 4.2.1 模型设计与开发过程.33 4.2.2 如何在 AI 的设计开发过程中提高可信度.33 4.3 模型测试与验证方法.36 4.3.1 模型可信度测试与验证方法简介.36 4.3.2 模型可信度测试方法.36 4.3.3 模型可信度综合性能验证方法.37 4.4 持续监控与反馈机制.39 4.4.1 持续监控.39 4.4.2 反馈机制.40 4.4.3 整合与协同.41 5 提高 AI 可信度的策略与实践.41 5.1 政策与法规.41 5.1.1 全生命周期可信的制度建设.43 5.1.2 人工智能领域的监督制度建设.43 5.1.3 推动人工智能伦理治理.43 5.1.4 推动行业可信赖生态建设.44 5.2 行业标准与最佳实践.44 9 2024 云安全联盟大中华区版权所有 5.2.1 行业标准建设.44 5.2.2 最佳实践.47 5.3 教育与培训.49 5.3.1 加强专业人员培训.49 5.3.2 提升普通公民素养.50 6 案例研究.50 6.1 从训练到推理，全流程安全保障.50 6.1.1 案例详述.51 6.1.2 业务成效.52 6.2 大模型 X 光，从模型内部进行“诊疗”.53 6.2.1 大模型测谎.53 6.2.2 幻觉修正.54 6.2.3 方案优势.54 7 未来展望.55 7.1 AI 可信度的发展趋势.55 7.1.1 政策法规.55 7.1.2 技术创新.55 7.2 潜在的技术与市场机会.58 7.2.1 技术机会.58 7.2.2 市场机会.61 8 结论.64 9 参考文献.66 10 2024 云安全联盟大中华区版权所有 1 引言引言 随着人工智能技术的不断演进，其在各行业的应用不仅带来了创新动力，也引发了关于可信度的广泛讨论和关注。深入理解这些背景和未来发展的关键趋势，有助于更好地应对 AI 技术带来的机遇与挑战。1.1 研究背景与重要性 1.1.1 人工智能发展为社会发展注入新动能人工智能发展为社会发展注入新动能 人工智能（AI）技术自 20 世纪 50 年代诞生至今，已经经历了 60 余年的发展。从早期的逻辑推理，到机器学习与深度学习，再到大模型不断涌现，AI 技术已经从专用智能逐渐迈向通用智能。其中，以大模型为代表的 AI 技术最新成果，已经成为了一种重要新质生产力，为经济社会持续发展注入新动能。根据中国信通院发布的数据，我国 AI 产业规模从 2019 年开始快速增长，2021 年同比增长达到33.3%，2022年AI产业规模达到5080亿元，同比增长18%。到2023年，AI 产业规模达到了5784 亿元，增速放缓至13.9%。工信部统计数据显示，截至 2023 年6 月，我国 AI 核心产业规模已达 5000 亿元，AI 企业数量超过 4400 家，仅次于美国，全球排名第二。如今，AI 已作为一项关键的革命性技术，在医疗、教育、交通等领域广泛应用，不断推进人类生产力发展，改善人们的生活方式。1.1.2 人工智能应用引发可信危机人工智能应用引发可信危机 尽管AI 技术在广泛的应用中取得了令人印象深刻的表现，AI的应用过程也不断暴露出安全问题，引发了人们对 AI 可信度的担忧，主要体现在以下方面：AI 的训练数据可能导致决策偏见。AI 基础模型需要大量的预训练数据，并且 AI算法的推理结果与训练数据集质量密切相关。如果 AI 的训练数据存在偏见或歧视，那么其决策结论也会反映出类似的问题。例如，据英国新科学家网站报道，在提供购房和租房建议时，AI 存在明显的决策偏见，对黑人用户更倾向于推荐低收入社区。AI算法存在脆弱性，容易产生模型幻觉，给出错误的信息，导致 AI 决策难以得到足够的信任。AI 算法容易在训练数据上产生过拟合，若训练数据中存在噪声、错误或 11 2024 云安全联盟大中华区版权所有 不一致的信息，模型可能会学习到这些错误的知识，并产生幻觉。例如，ChatGPT 等AIGC 服务可能生成符合人类语言习惯但不准确、甚至错误的信息，如将登月第一人错误地回答为 Charles Lindbergh 而非 Neil Armstrong。AI 容易受到数据投毒等针对性攻击，致使模型给出错误的判断，甚至输出错误的意识形态。数据投毒攻击，即有意或恶意地在数据集中篡改数据标签、添加虚假数据、引入有害内容，以此操纵、损害或欺骗 AI 的性能和输出结果，故意引导 AI 做出错误的决策。例如，在对话机器人领域，训练数据投毒可导致机器人发表歧视性、攻击性的不当言论，微软开发的 Tay 聊天机器人使用公开数据集进行训练，并受到投毒攻击，导致Tay从友好的对话者变成了一个充满歧视和偏见的AI，最终Tay投入使用仅1天，就被紧急关闭，以阻止其继续学习和传播不当内容。此外，数据投毒的危害不仅限于聊天机器人，它还可能影响自动驾驶汽车的安全性、智慧医疗诊断的准确性以及国家安全等多个领域。AI 可解释性较差，算法不透明。现有的 AI 大多基于深度学习技术产生，表现为一个决策和输出缺乏透明度的黑匣子。由于无法直观理解 AI 做出决策的原因，人们往往难以给予 AI 足够的信任。AI 决策导致安全事故时的责任主体难以界定。从我国现行法律上看，AI 本身仍未被认定为可能的侵权责任主体。因 AI 决策失误，导致搭载 AI 的产品发生侵权现象时，应该对 AI 研发者追责，还是对产品使用者追责，尚未有定论。在国外，2018 年 3 月美国亚利桑那州发生了 Uber 的自动驾驶汽车在测试期间撞击行人并导致行人死亡的案件，事故责任认定充满争议。直到 2020 年 9 月，案件最终以驾驶员被判处过失杀人罪而告终，负责开发 AI 自动驾驶模型及产品的 Uber 公司则被判无罪。这起事故反映了 AI 决策导致安全事故的场景下，责任认定困难且对 AI 研发者缺乏监管的现象，引发了人们对 AI 可信度的担忧。AI 的恶意滥用不断降低人们对 AI 应用的信任度。随着深度合成、生成式 AIGC 技术的广泛赋能，出现了使用假脸欺骗身份认证、使用换脸、换音技术实施电信诈骗等恶意滥用 AI 的行为。例如，2023 年 5 月，包头市公安局电信网络犯罪侦查局发布了一起使用智能 AI 技术进行电信诈骗的案件。案中，嫌疑人通过基于 AI 的视频、音频合成技术，伪装成受害人的微信好友，通过微信视频的方式骗取受害人信任，骗取受害 12 2024 云安全联盟大中华区版权所有 人钱财，涉案金额达 430 万元。因此 AI 可信度已经成为制约 AI 技术可持续发展和安全应用的重要因素之一。1.1.3 可信人工智能成为全球共识可信人工智能成为全球共识 为了加快 AI 技术的高质量应用落地，世界各国不断出台政策法规，支持对 AI 可信度进行深入研究，发展可信的人工智能已经成为全球共识。在国内，习近平总书记高度重视 AI 的治理工作，强调“要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控。”2023 年 7 月，国家网信办联合其他部门发布了生成式人工智能服务暂行管理办法，支持人工智能算法、框架等基础技术的自主创新、推广应用、国际合作，鼓励优先采用安全可信的软件、工具、计算和数据资源。在国外，2022 年 10 月，美国发布了人工智能权利法案蓝图，为 AI 设立了算法歧视保护、通知和解释清晰等五项基本原则要求，以保障 AI 的可信性。2024 年 1 月，欧盟委员会、欧洲议会和欧盟理事会共同完成了人工智能法的定稿，制定了透明度、技术稳健型和安全性、非歧视和公平等七项原则，以确保 AI 值得信赖、符合伦理道德。此外，国际标准化组织（ISO/IEC）下设的人工智能标准研制委员会已成立多个工作组，推进人工智能的技术标准制定，重点关注数据质量、模型可信性等方面。近年来，学术界积极投身 AI 的可信度研究，助力可信人工智能发展。2023 年 10月，字节跳动 ByteDance Research 团队提出了一种针对 LLM 可信度的评估框架，将 AI可信度划分为可靠性、安全性、公平性、抵抗滥用、可解释性和推理、社会规范和稳健性 7 个关键维度，以帮助从业者在实际应用中可靠地部署 LLM，促进 LLM 部署应用领域进一步改进和发展。2024 年 1 月，来自包含牛津大学、剑桥大学在内的 40 个机构的近 70 位研究者合作提出了一个对于 LLM 可信度的分析框架，通过对过去五年发表的600 篇关于 LLM 可信度的论文进行回顾，将 LLMs 可信度定义为八个关键方面，即真实性、安全性、公平性、鲁棒性、隐私性、机器伦理、透明度和可问责。总的来看，可信人工智能研究是确保 AI技术可持续发展的关键，AI 可信度研究是其中的重要组成部分。通过开展AI可信度研究，指导和推动AI在各领域的更加安全、13 2024 云安全联盟大中华区版权所有 可信、负责任地部署，可以提高人们对 AI 技术的信任度，为人类带来更加公正、有益的智能化服务。1.2 报告目的与研究问题 随着AI 技术在各行各业中的广泛引用，AI 可信度成为了影响其推广和应用效果的关键因素之一。本报告旨在探讨和分析人工智能（AI）可信度问题，提供一个全面、系统的研究框架。本报告将从以下几个方面展开论述：1.定义与标准：明确 AI 可信度的定义，并介绍国际上现有的相关标准和框架，特别是 WDTA 生成式 AI 相关标准工作的最新进展。2.现状分析：分析 AI 在各行业中的应用现状，揭示现有 AI 大小模型在可信度方面存在的主要问题和挑战。3.评估方法：提供一套系统的 AI 可信度评估方法，涵盖数据质量、模型设计、测试验证及持续监控等方面。4.提高策略：提出提高 AI 可信度的具体策略与实践建议，包括政策法规、行业标准、最佳实践以及教育培训。5.案例研究：通过成功和失败案例的分析，探讨不同行业的 AI 可信度问题，并探索大小模型间的可信度对齐方法。6.未来展望：预测 AI 可信度的发展趋势，发掘潜在的技术与市场机会。通过深入研究与分析，本报告希望为政策制定者、行业从业者以及研究人员提供有价值的参考，推动 AI 技术的健康和可持续发展。报告还旨在呼吁各方采取积极行动，制定并落实有效的措施，提升AI的可信度，确保AI技术在实际应用中发挥最大效益。2 AI 可信度的定义与标准可信度的定义与标准 2.1 可信度的定义 可信度是开发、部署和使用 AI 的先决条件，决定 AI 是否可信的不仅仅是其系统 14 2024 云安全联盟大中华区版权所有 内部的各个部件，整个系统在实际应用场景中的表现也至关重要。因此，AI 可信度不仅仅涉及到 AI 本身，也需要一种全面和系统的方法，来衡量涵盖 AI 的整个生命周期内，其社会技术环境中的所有参与者和参与过程的可信度。为了实现上述目标，AI 可信度被定义为：无论从技术层面还是社会层面，无论从技术层面还是社会层面，AIAI 在执在执行任务时均能够赢得用户的信任和接受的程度行任务时均能够赢得用户的信任和接受的程度。具体地，一个高可信度的 AI 应包含两个组成部分，这些组成部分应贯穿于系统的整个生命周期：（一）从技术层面来看，可信（一）从技术层面来看，可信 AIAI 应是准确且鲁棒应是准确且鲁棒的，其决策需要尽可能与实际情的，其决策需要尽可能与实际情况相符，并且在预期和意外情况下均能稳定运行，避免对用户造成无意的伤害。况相符，并且在预期和意外情况下均能稳定运行，避免对用户造成无意的伤害。（二）从社会层面来看，可信（二）从社会层面来看，可信 AIAI 应是合法且合乎伦理的，能够遵循所有适用的法应是合法且合乎伦理的，能够遵循所有适用的法律和法规，并确保遵循人类的伦理原则和价值观，以促进社会福祉，提高人民生活质律和法规，并确保遵循人类的伦理原则和价值观，以促进社会福祉，提高人民生活质量。量。以上两项中的每一项都是必要的，仅凭单一的组成部分不足以实现可信的 AI。理想情况下，以上两项应相互配合，并在其运作中相互堆叠实现。基于以上两个组成部分，AI 的可信度可以从如下几个方面来定义：从技术层面来看，可信 AI 应同时具备如下属性：1）准确性：准确性：AI 需要尽可能提供准确无误的结果，减少错误和偏差。例如，在医疗诊断领域，一个高准确性的 AI 能够更好，更快地帮助医生发现病情。相反，准确性较差的 AI 可能会导致医生误诊。衡量准确性的常用的度量指标包括准确率，精确率，召回率等。2）可靠性：可靠性：AI 需要保证系统在不同场景，不同环境和条件下都能够保持稳定的表现。例如，在自动驾驶领域，AI 必须能在多种复杂多变的天气条件或交通状况下都能安全操作，避免威胁乘客安全。衡量系统可靠性的典型度量指标包括：故障率，平均无故障时间，平均故障间隔时间。3）安全性：安全性：AI 需要能够抵御恶意攻击，确保其操作不会危害用户或公共安全。例如，在关键基础设施的监控和管理中，AI 需要能够抵御恶意软件或网络攻击，否则可能会导致服务中断，影响公众生活，甚至引发紧急情况。衡量系统安全性的度量指 15 2024 云安全联盟大中华区版权所有 标包括：异常响应时间，对抗攻击抵御成功率，模型逃逸防御成功率。4）稳健性：稳健性：AI 需要在出现问题时要有备用计划，以确保能够尽可能减少和预防无意义的伤害。例如，在航空领域，用于飞行控制和导航的 AI 需要能够灵活应对极端天气或系统故障，以避免飞行事故。衡量系统稳健性的度量指标包括：容错率和平均修复时间。5）可解释性：可解释性：AI 的决策过程需要被理解和解释，使得用户明白为何系统会做出相应的决策。例如，在法律领域，被用于辅助案件分析和预测判决结果的 AI 需要能够向律师和法官提供决策依据，包括使用的数据、算法逻辑和推理过程，以便让用户能够验证 AI 的决策是否合理。衡量 AI 可解释性的常用度量指标包括：解释清晰度，解释一致性等。从社会层面社会层面来看，可信 AI 应同时具备如下属性：6）隐私性：隐私性：AI 需要保障用户隐私，防止敏感信息泄露。例如，在社交媒体平台上，用于提供个性化内容推荐的的 AI，需要确保用户的浏览历史、社交关系和其他个人信息等隐私内容不被未经授权的第三方获取。衡量 AI 隐私性的常用度量指标包括：数据去标识化水平，隐私泄露风险率等。7）合规性：合规性：AI 需要遵守适用的法律、法规和行业标准。否则，可能会导致用户的数据泄露和隐私滥用，对民众的财产和生命安全造成威胁。衡量系统合规性通常需要行业标准和当地的法律法规作为依据来进行详细评估。8）公平性：公平性：AI 需要避免不公平的偏见所导致的多种负面影响，比如边缘弱势群体和加剧种族歧视。在金融服务领域，用于信用评分和风险评估的 AI 如果存在偏见，可能会导致某些群体的客户获得不公平的贷款条件，甚至被拒绝服务，这可能加剧社会经济不平等。衡量公平性的指标包括群体差异率，个体一致性等。9）伦理和社会影响：伦理和社会影响：AI 的设计和部署应考虑到伦理原则。此外，应促进社会整体福祉，包括促进包容性增长、提高民众生活质量等。同时避免 AI 对社会造成危害。衡量伦理和社会影响可以从伦理风险率，价值观一致程度等多个角度开展。16 2024 云安全联盟大中华区版权所有 2.2 国际 AI 可信度标准与框架 按照上述定义，可以梳理出目前已存在的可信度标准与框架情况，部分可信度标准与框架及其覆盖内容的对照情况如表 1 所示。表 1 可信度标准与框架对照表 可信度标准与可信度标准与框架框架 国家国家/组织组织 准确性准确性 可靠性可靠性 安全性安全性 稳健性稳健性 隐私性隐私性 合规性合规性 公平性公平性 可解释可解释 伦理性伦理性 人工智能伦人工智能伦理问题建议理问题建议书书 联合国 信任与人工信任与人工智能草案智能草案 美国 人工智能监人工智能监管白皮书管白皮书 英国 可信人工智可信人工智能伦理指南能伦理指南 欧盟 人工智能人工智能人工智能可人工智能可信性概述信性概述 ISO 可解释人工可解释人工智能的体系智能的体系框架指南框架指南 IEEE 可信人工智可信人工智能框架能框架 微软 17 2024 云安全联盟大中华区版权所有 人工智能可人工智能可信基座信基座 谷歌 D DECODINGECODINGT TRUSTRUST 斯坦福 2.2.1 联合国联合国 联合国高度重视、持续关注人工智能安全可信。2021 年 11 月，联合国教科文组织发布人工智能伦理问题建议书，旨在提升人工智能系统生命周期各个阶段的可信度，并提出可信人工智能系统全生命周期的九项要求，包括：以人为本、可靠、可解释、符合道德、具有包容性，充分尊重、促进和保护人权和国际法、保护隐私、面向可持续发展和负责任。2024 年3 月，联合国大会通过决议，进一步呼吁“抓住安全、可靠和值得信赖的人工智能系统带来的机遇，促进可持续发展”。2.2.2 美国美国 美国鼓励行业自律，敦促人工智能相关企业自觉落实可信原则。美国国家标准与技术研究院（NIST）在 NIST IR-8332信任和人工智能草案中提出由七种可信属性构成的 AI 可信度框架，七种可信属性包括：有效性、安全性、弹性、透明性、可解释性、隐私性以及公平性。框架同时指出，构建可信的 AI 需要根据具体应用场景统筹平衡上述可信属性。白宫、美国国防部等部门发布的人工智能应用规范指南、人工智能道德原则、人工智能权利法案等文件中也从不同角度强调了 AI 可信度增强、评测与监管的重要性。2.2.3 英国英国 英国支持人工智能创新，建立人工智能新监管框架。2023 年 3 月，英国科学创新和技术部（DSIT）发布人工智能监管白皮书明确了可信人工智能应当遵循的五大原则，包括：安全可靠与鲁棒性、适当透明与可解释性、公平性、问责制与治理、争议与补救。该框架通过创建与不同部门使用人工智能相关风险成比例的规则来促进公众对人工智能的信任。此外，框架还承诺建立一个监管沙箱，促进监管者和创新者合作，以帮助了解监管如何影响新兴的人工智能技术。18 2024 云安全联盟大中华区版权所有 2.2.4 欧盟欧盟 欧盟积极推进人工智能监管与立法进程。2019 年 4 月，欧盟委员会发布可信人工智能伦理指南，指出可信人工智能系统应当满足四项伦理准则以及七项关键要求，其中，伦理准则包括：尊重人的自主性、防止伤害、公平、可解释性；关键要求包括：人的能动性和监督能力、安全性、隐私数据管理、透明度、包容性、社会福祉、问责机制，以确保人工智能足够安全可靠。2024 年 3 月，欧盟通过人工智能法案，从立法层面扩充了可信人工智能监管与治理的空缺。2.2.5 其他国家其他国家 俄罗斯、日本、加拿大等国家均发布各自人工智能可信度标准和框架。2020 年 8月，俄联邦政府批准至 2024 年人工智能和机器人技术监管构想，提出通过监管促进人工智能发展，同时保障人工智能安全可信。2022 年 4 月，日本发布人工智能战略 2022，提出以人为本、多样性、可持续三项人工智能发展原则。2023 年 12 月，加拿大发布生成式人工智能技术基本原则：可靠可信与隐私保护，规范了生成式人工智能在开发和使用阶段的可信原则。2.2.6 国际标准国际标准 国际标准组织（ISO）成立了 ISO/IEC JTC1 SC42 人工智能分技术委员会，以制定人工智能安全相关的国际标准与技术框架。ISO/IEC TR 24028:2020人工智能人工智能可信性概述等相关标准关注人工智能的透明度、可解释性、鲁棒性与可控性，并指出人工智能系统的技术脆弱性因素及部分缓解措施。电气与电子工程师协会（IEEE）拟定并通过 IEEE P7000 系列标准、IEEE 2841-2022深度学习评估过程与框架、IEEE P2894可解释人工智能的体系框架指南，从安全性、透明性、可解释性及公平性等方面为 AI 可信度评估与增强提供指导。2.2.7 企业标准及框架企业标准及框架 人工智能相关企业也提出了各自的可信 AI 基座和框架。OpenAI 从安全工程、模型安全、安全推理以及人机交互四个维度为可信 AI 的训练、推理、对齐以及部署等环节提供解决方案。微软（Microsoft）的可信人工智能框架包含七个领域：问责制、透 19 2024 云安全联盟大中华区版权所有 明度、公平性、可靠性、安全性、隐私与安全、包容性。谷歌（Google）组建可信 AI团队，从公平性、安全性、数据可靠性、可解释性以及可信机器学习基础研究等角度开展研究，以构建可信 AI 应用和系统。2.2.8 学术研究学术研究 学术界持续推进可信人工智能研究，提出了多种针对 AI 的可信度评估框架和体系。斯坦福大学研究人员提出 DecodingTrust 框架，从毒性、刻板偏见、对抗鲁棒性、分布外鲁棒性、对抗鲁棒性、隐私、机器伦理和公平性等角度对大型语言模型的可信度进行量化评估。英国先进研究与发明局与牛津大学、加州大学等联合提出安全可保证AI（Guaranteed Safe AI），构建了由世界模型、安全规范及验证器构成的可信 AI 框架。2.3 WDTA AI 相关标准工作 面对生成式 AI 技术的快速发展与应用带来的风险，世界数字技术院（World Digital Technology Academy，WDTA）通过 AI STR(安全、信任、负责任)项目，联合OpenAI、英伟达、Meta、蚂蚁集团、谷歌、微软、百度、腾讯等数十家单位的专家学者发布了包括生成式人工智能应用安全测试标准、大语言模型安全测试方法以及大模型供应链安全要求等一系列标准。2.3.1 生成式生成式 AI 应用安全标准应用安全标准 生成式人工智能应用安全测试标准涵盖了生成式 AI 应用生命周期中的关键领域，旨在协助开发者和组织提高 AI 应用的安全性和可靠性，减少潜在的安全风险，提升整体质量，并促进负责任的 AI 技术开发和部署、。该标准较为全面，自底向上涵盖了从基础模型选择到模型应用的多个方面，具体如下。基础模型选择测试标准基础模型选择测试标准部分：一、模型要符合相关法律法规，在应用中应给出模型的详细信息。二、保护用户在与 AI 应用交互过程中的隐私，在处理和使用数据时应确保数据的透明性和可追溯性。三、验证客户端应用与第三方模型集成时的安全性，涉及身份验证和授权机制、数据验证等测试内容。对于 AI 应用中的嵌入和向量数据库组件嵌入和向量数据库组件需进行：一、数据清理和匿名化；二、使 20 2024 云安全联盟大中华区版权所有 用先进的加密方法、密钥管理生命周期测试、细粒度 IAM 策略实施等措施加强数据库的安全性。在利用利用 RAGRAG（Retrieval Augmented GenerationRetrieval Augmented Generation，检索增强生成）技术进行提示，检索增强生成）技术进行提示和知识检索和知识检索阶段，一、验证 RAG 模型创建的提示词是否存在恶意的提示词注入；测试是否敏感信息；确保模型的输出在限定的领域或主题。二、确保只有授权用户能够使用特定模板；确保模版稳定能有效生成提示；确保 RAG 模型在特定语境中能正确过滤冗余、错误的响应。三、确保外部 API（函数调用、插件）与 RAG 模型之间的可靠和安全集成。四、确保 RAG 系统能准确、高效地从向量数据库中检索信息，且不会泄露敏感信息。在提示词的执行及推理提示词的执行及推理的阶段，一、防止未经授权的访问或操作验证 API 正确使用加密技术及加密密钥的安全管理；测试 API 对不同提示词注入攻击的防护能力等措施；二、通过缓存效率测试、验证过程测试以及响应准确性测试，确保大语言模型响应准确和适当。在 AI 应用的微调微调阶段，应审查数据收集和处理流程是否合法合规；验证数据是否被匿名化、假名化；评估数据质量；评估模型性能和适应性；验证模型的合规性。微调后的模型应被记录在注册表中，且微调过程被准确记录；需进行训练数据中毒测试；评估实际场景中模型的性能、安全性以及可扩展性。在响应处理响应处理处理阶段，测试重点在于确保 AI 响应能准确反映事实、与提示或查询内容相关，并且不含有毒、冒犯、违背伦理等内容；AI 具备妥善处理未知或不受支持的查询以及处理不安全或潜在的有害输出的能力；模型具备抵御后门攻击的能力，及其输出不包含侵犯隐私或版权的内容。在 AIAI 应用运行应用运行时，应持续防护机制保护数据的安全性和隐私性；进行模型水印测试、访问控制和身份验证测试、API 安全和限速测试、混淆和加密测试等模型安全测试；对网络、服务器、数据存储、物理访问等基础设施安全性测试；对 API 身份验证机制、授权机制、限速机制以及输入清理机制等进行安全测试；应对 AI 进行持续的验证及审计跟踪，实时监控系统活动和模型性能中的异常；保证 SaaS 应用、身份和数据的安全基础设施配置正确；事件响应计划测试，通过模拟安全事件（如模拟攻击者试图获取敏感信息、采集数据或网络攻击等）发生时的响应流程，以便及时有序地处理 21 2024 云安全联盟大中华区版权所有 安全事件；测试用户访问管理机制、外部库、组件的安全性。除上述AI 测试规范外，还需遵循如下额外的规范，如供应链漏洞测试；AI应用开发过程的安全性测试，包括 AI 开发安全、需求验证、开发完整性等测试；AI应用治理测试、模型安全共享和部署、模型决策透明性测试等。2.3.2 大语言模型安全大语言模型安全标准标准 WDTA大语言模型安全测试方法提供了一个评估大语言模型抵抗对抗性攻击能力的框架，其中攻击可分为随机攻击、盲盒攻击、黑盒攻击及白盒攻击，以攻击成功率（Attack Success Rate）和拒绝率（Decline Rate）评估攻击有效性。大语言模型在预训练、微调、推理等阶段都会受到各种形式的攻击。为了降低成本并加快评估过程，通常将测试样本限制到最小可行数量，称为最小测试集规模。该测试集需具有足够的代表性，可以代表潜在的攻击类型和风险领域，确保评估的覆盖面；具有统计显著性，确保在统计学角度，验证结果具备有效性和可靠性。通常会采用计算置信区间和确定所需的置信水平的方式来估计所需的样本量。2.3.3 大模型供应链大模型供应链安全安全标准标准 WDTA大模型供应链安全要求提出了一个管理大语言模型（LLM）供应链中安全风险的框架。它解决了将 AI 技术，特别是 LLM，整合到现代技术生态系统中所带来的独特挑战。该标准涵盖了 LLM 的整个生命周期，从开发和训练到部署和维护，为每个阶段提供了详细的指南。该标准的核心强调了一种多层次的安全方法，涵盖网络层、系统层、平台和应用层、模型层以及数据层。它利用了机器学习物料清单（ML-BOM）、零信任架构和持续监控与审计等关键概念。这些概念旨在确保 LLM 系统在其供应链中的完整性、可用性、保密性、可控性和可靠性。模型开发者可以利用该标准文件来增强其识别、评估和管理 LLM 系统供应链安全风险的能力。该标准不仅涉及技术层面，还涵盖了组织和合规要求，反映了 LLM 开发和部署的复杂性和跨学科特性。随着 AI 技术的不断发展并在各个行业中变得更加重要，标准为构建安全、可信且伦理管理的 AI 系统提供了实用的基础。22 2024 云安全联盟大中华区版权所有 3 AI 的应用现状分析的应用现状分析 目前，AI 大小模型在自然语言处理、图像识别、数据挖掘、问答推荐、信息检索等领域充分发展，助力千行百业进行智能化转型。然而，人工智能广阔应用前景下暗藏模型可信度危机。3.1 AI 赋能千行百业 AI 依托强大的感知、理解、计算、推理能力，成为各垂类领域产业升级的关键支撑力量。产学研各方不断推动人工智能技术创新，不同规模、功能的模型在现实应用中充分交叉和延伸，快速渗透金融、消费、医疗等重点行业，赋能千行百业的智能化升级变革。3.1.1 AI 分类及应用行业总览分类及应用行业总览 从规模角度分类，AI 可分为专用型小模型和通用型大模型。小模型：参数少、层数浅，具有轻量高效、容易部署等优点，适用于数据量较小、计算资源有限的场景，例如移动端应用、嵌入式设备、物联网等。小模型针对特定问题有较高的精准度和专业性，例如医疗影像识别、法律文档分析等。大模型：参数多、层数深，具有更强的表达能力和广泛的适应性，适用于数据量较大、计算资源充足的场景，例如云端计算、高性能计算等。大模型现已在金融、政务、医疗、教育等行业落地实践。从输入数据及基本功能角度分类，AI 主要分为以下四类：（1）自然语言处理（Natural Language Processing，NLP）模型：这类 AI 通常用于处理自然语言文本数据。NLP 模型在大规模语料库上进行训练，学习自然语言的各种语法、语义和语境规则，具备强大的语言理解和生成能力，能够帮助人类完成文本生成、情感分析、信息抽取等工作。（2）计算机视觉（Computer Vision，CV）模型：这类 AI 通常用于处理分析图像和视频数据。CV 模型在大规模图像数据上进行训练，具备强大的视觉识别和分析能力，23 2024 云安全联盟大中华区版权所有 能够完成图像分类、目标检测、图像分割、姿态估计、面部识别等任务。（3）多模态模型：这类 AI 能够同时处理多种不同类型的模态数据，例如文本、图像、音频等。多模态模型结合了 NLP 和 CV 模型能力，实现对多模态信息的综合理解和分析，主要用于处理跨模态检索、多模态生成、多媒体理解等任务。（4）科学计算模型：这类 AI 通常用于处理大规模数值数据。科学计算模型能够从海量数据中提取出数理规律，解决科学领域的计算问题，主要面向气象、生物、医药、材料、航空航天等领域。表 2 AI 分类及应用行业总览表 AIAI 处理数据处理数据 基本功能基本功能 下游应用下游应用 模型列举模型列举 自然语言自然语言处理模型处理模型 自然语言文本数据 文本生成 情感分析 信息抽取 问答系统 办公交互、金融、消费 GPT 系（OpenAI）Bard（Google）文心一言（百度）计算机视计算机视觉模型觉模型 图像和视频数据 图像分类 目标监测 面部识别 安防、交通、物流、工业、医疗 VIT 系列（Google）PCAM（腾讯）INTERN（商汤）多模态模多模态模型型 多类型模态数据 跨模态检索 多模态生成 多媒体理解 娱乐、电商、传媒 DALL-E（OpenAI）Vision Transformer（Google）科学计算科学计算模型模型 大规模数值数据 气候模拟 生物信息数值模拟 生物、医疗、气象、材料 盘古科学计算大模型（华为）24 2024 云安全联盟大中华区版权所有 3.1.2 AI 在重点行业的应用情况在重点行业的应用情况 3.1.2.1 政企办公政企办公 政企办公对 AI 具有很强的需求性和适应性，是 AI 的重要赋能场景。近年来，头部互联网公司引领 AI 技术落地协同办公，接连推出智能办公工具。（1）阿里钉钉：2023 年 4月，钉钉正式接入阿里云语言大模型“通义千问”，实现输入一条“/”即可唤起 10 余项 AI 功能的能力。其中，智能摘要功能可为用户自动整理群聊要点；智能问答功能可学习用户提供的文档或知识库，生成对话回答；文档生成能力包括文案编写、海报生成、美化排版等；会议助手能够一键提取讨论要点、会议结论和待办事项。钉钉基于 AI 全面升级了群聊、文档、视频会议和代码应用开发等在内的多个主要办公场景显著提升企业智能化程度，有效减少人工重复成本。（2）金山办公：2023 年，金山办公首次发布将办公软件 WPS 和 AI 相结合的 WPS AI；2024 年 4 月，金山办公发布面向组织和企业的办公新质生产力平台 WPS 365，打通文档、协作和 AI 三大能力。针对个人客户，WPS AI 实现 AI 写作助手、AI 阅读助手、AI 数据助手、AI 设计助手，具体解决用户写作、阅读、表格和设计需求。针对政企用户，WPS AI 企业版构建智能基座、智能文档库和企业智慧助理三个原件，适配MiniMax、智谱 AI、文心一言、商汤日日新、通义千问等主流头部大模型，并与 WPS Office、WPS 365 融合，扩展文档生成处理、文档权限管理、智能数据分析等能力，充分满足企业降本增效和管控生产流程的需求。3.1.2.2 金融行业金融行业 金融行业数字化程度高并拥有丰富的数据资产，是 AI 落地应用的最佳场景之一。决策式应用仍处于摸索阶段，可用于下述多种金融场景：投研场景中，AI 用于量化交易策略的开发和执行，能够提高交易的稳定性和收益率；投顾场景中，AI 生成个性化的投资建议和组合配置，辅助决策；风控场景中，风险评估模型能够帮助金融机构评估和管理市场、信用、操作等方面的风险；欺诈预防场景中，基于 AI 分析用户的交易数据、行为模式和历史记录，可以识别潜在的欺诈行为和异常交易，保护客户