人工智能安全新进展标准化研究.pdf

标准化研究Standardization Research2023 年第 9 期http:/111 引言人工智能具有获取、处理、创造和应用知识的能力，可为人类定义的目标生成内容、预测、推荐或决策等1-2。经过几十年的技术迭代和进步，人工智能近年来进入了蓬勃发展期，成为新一轮科技革命和产业变革的重要驱动力量。人工智能应用也逐渐深入到人类生产和生活的方方面面，在工业智能制造、智慧城市、智能交通、智慧金融、智慧医疗等领域发挥着重要作用3-4。然而，由于人工智能技术原理的复杂性、模糊性和不可解释性，已暴露多项安全问题5-6。同时随着人工智能应用的普及，安全威胁的范围也不断增加，对国家安全、社会安全和人民基本权利都存在安全影响7。全球人工智能安全问题也普遍存在，各国近年来密集出台了人工智能安全相关的法律法规和政策8。国务院发布的新一代人工智能发展规划强调确保人工智能安全、可靠、可控发展。人工智能安全作为保障国家人工智能发展战略安全实施不可或缺的一环，如果未妥善利用人工智能技术或对其应用进行风险防范，可能阻碍人工智能在生产力提升、社会发展、数字经济中的驱动作用。2 人工智能技术安全2.1 基础设施安全人工智能基础设施是指人工智能技术和应用依赖的软硬件，如软件框架组件、计算设施、智能传感器等。其中，软件框架组件是算法模型工程实现的基础，为人工智能应用开发提供集成软件包和算法调用接口等，常见的人工智能框架如 TensorFlow、PyTorch、PaddlePaddle 等。计算设施为人工智能提供计算资源，如人工智能专用芯片、图形处理器GPU、张量处理器 TPU、云计算平台等。智能传感器为人工智能提供数据，如自动驾驶场景下的摄像头、激光雷达、麦克风等。人工智能基础设施的安全风险主要来自于难以编辑：胡欣E-mail:中国电子技术标准化研究院 张世天 范 博 郝春亮Research on Standardization of New Advance in Artificial Intelligence Security摘 要 围绕人工智能技术快速发展及其应用日益广泛所引发的安全问题，从人工智能技术和应用两方面分析当前人工智能的安全风险，研究国内外主要标准化组织的人工智能安全标准化工作进展、重点标准项目等，提出后续人工智能安全标准化工作的建议。关键词 人工智能 人工智能安全 标准化Abstract:the rapid development of artificial intelligence technology and its increasingly widespread application have aroused widespread concerns about its security.This paper analyzes the current security risks of artificial intelligence from both artificial intelligence technologies and applications,studies the progress of artificial intelligence security standardization work and key standard projects of major domestic and foreign standardization organizations,and puts forward suggestions for follow-up artificial intelligence security standardization work.Keywords:artificial intelligence;artificial intelligence security;standardization 人工智能安全新进展标准化研究标准化研究Standardization Research信息技术与标准化http:/12保证其正确性和透明性。当前人工智能框架组件呈现出开源趋势，在工业界、科研界等得到了广泛使用，计算设施如人工智能专用芯片也发展迅速，智能传感器越来越多，由于这些基础设施大多未经充分安全评测，可能存在漏洞、后门等风险。一旦基于不安全的基础设施构建的人工智能被应用于涉及国家安全、社会安全、个人信息的重要领域，就会存在“基础环境不可靠”而带来的潜在风险。2.2 数据安全数据是人工智能的基础资源。以机器学习、深度学习等为代表的人工智能算法需要数量大、种类多、质量高的数据进行训练。人工智能应用阶段，为了优化改进产品、识别特定目标等目的，也会采集大量的环境数据或用户行为数据。2021 年，随着中华人民共和国数据安全法 中华人民共和国个人信息保护法汽车数据安全管理若干规定(试行)等一系列法律法规相继出台实施，数据作为社会核心资产之一，数据安全的重要性不断提升。数据安全风险主要来自于难以保证数据质量和缺乏数据保护能力。一方面，数据的质量会影响人工智能输出的准确率，如数据投毒、对抗样本攻击等9-10。数据投毒是指在训练数据中加入精心构造的异常数据污染原有的训练数据，对抗样本攻击是指在输入样本中添加细微的、通常无法识别的干扰诱导模型产生错误输出结果11-12。另一方面，数据处理流程保护能力弱。人工智能海量数据持续累积的趋势仍在继续，超范围采集问题仍然存在，采集的数据往往涉及生物特征、用户行为、生产经营等高敏感数据13，使得人工智能面临的数据安全挑战愈发不容忽视。同时数据存储、传输等环节存在安全漏洞或者被攻击造成数据泄漏，存在隐私保护的安全风险14。2.3 算法安全人工智能算法是指基于数据“学习”人工智能模型的过程。算法通过拟合数据集的方式“学习”，常见的人工智能算法包括：线性回归、决策树、贝叶斯网络、深度学习、强化学习、推荐算法、深度合成算法等。算法安全风险主要来自于无法完全保证算法的安全性、可靠性、可信赖性。由于人为编写的人工智能算法程序不可避免地存在问题，常见的如算法偏见歧视、算法漏洞等。算法偏见歧视是指由于算法的设计者或开发人员对事物的认知存在主观上的某种偏见，或者不经意使用了带有偏差的训练数据集等原因，造成模型准确性下降或分类错误，甚至在模型使用时产生了带有歧视性的结果。如果将算法应用在犯罪评估、信用贷款、雇佣评估等关乎人民切身利益的场合，其产生的歧视可能会严重危害个人权益。算法漏洞可能被不法分子利用攻击人工智能应用。2.4 模型安全人工智能模型是指在训练数据上运行人工智能算法的输出，表示人工智能算法所学到的内容，如用于进行预测所需的规则、权重参数等数据。模型安全风险主要来自于难以保证模型不被窃取。人工智能模型作为数据和算法“学习”得到的载体，并以实体文件的形态存在，存在被窃取和后门攻击的安全风险。模型窃取如通过逆向攻击获取模型的参数及训练数据，通过成员推断攻击判断窃取训练数据信息等。后门攻击一般是指利用后门将秘密行为植入经过训练的机器学习模型，由于后门攻击具有较强的隐蔽性，其安全威胁也更加严峻。3 人工智能应用安全3.1 黑箱模型带来的可解释性风险人工智能技术的“黑箱”特征，带来了可解释性不足的安全风险和问题。特别是人工智能在金融、医疗、交通等攸关人身财产安全的重点行业领域应用时，人类对算法的安全感、信赖感、认同度极大取决于 算法的透明性和可理解性，不可解释性也可能使错误决策难以发现、追溯，加大安全问题的影响15。3.2 算法决策的公平性风险人工智能技术的落地应用在社会公共安全、刑事侦缉等领域也发挥着重要作用，如利用人脸识别、步态识别技术搜检犯罪嫌疑人，利用人工智能分析标准化研究Standardization Research2023 年第 9 期http:/13法律情况供司法人员参考，使用人工智能测谎仪协助审讯、辅助量刑等。这些都将有助于提高公共安全水平，加快刑事案件侦破速度。但是会面临安全伦理问题，即机器是否有资格这样做。同时，随着人工智能对特定领域的知识掌握，决策分析能力超过人类，人们可能在越来越多的领域过分依赖相关技术，导致社会稳定性、司法公信力的降低。国家互联网信息办公室、工业和信息化部、公安部、国家市场监督管理总局四部门发布的互联网信息服务算法推荐管理规定强调提供算法推荐服务时要遵循公正公平、公开透明、科学合理和诚实信用的原则。如涉及网上购物、网约车、外卖、快递等的智能推荐类算法不断增长，大数据杀熟等安全问题凸显，损害社会人民合法权益。3.3 责任界定的法律风险人工智能应用过程中产生损害的法律责任界定问题依旧没有定论。人工智能在执行任务的过程中，一旦出现对于个人及其财产产生损害时，应如何认定侵权责任就成了一个非常具有挑战性的问题。由于人工智能技术本身的特殊性，其具体行为受算法控制，使得侵权责任中的因果关系变得非常复杂，侵权责任的主体是人工智能设备所有者还是软件研发者仍值得商榷。常见的场景如自动驾驶汽车发生交通事故时，车辆所有者、车辆制造商以及自动驾驶系统的开发者应如何进行责任分配。4 国内外标准化进展作为应对人工智能安全风险的重要手段，近年来国内外主要标准化组织开展了人工智能安全各个方面的标准化工作。4.1 国际国外标准化进展4.1.1 ISO/IEC JTC1ISO/IEC JTC1 成立人工智能分委员会 SC42，负责人工智能标准化工作。目前开展工作的包含：基础标准工作组(WG1)、数据工作组(WG2)、可信工作组(WG3)、用例与应用工作组(WG4)、人工智能系统计算方法和计算特征工作组(WG5)、基于人工智能的系统的测试联合工作组(JWG2)、AI 标准化路线图咨询组(AG3)、JTC 1/SC 27 联络特别小组(AHG4)等。已发布的人工智能安全相关标准文件包括：(1)ISO/IEC TR 24027信息技术 人工智能 人工智能系统中的偏差与人工智能辅助决策；(2)ISO/IEC PDTR 24028 信 息 技 术 人 工 智能 人工智能可信度概述；(3)ISO/IEC TR 24029-1 信 息 技 术 人 工 智能 神经网络鲁棒性评估 第 1 部分：概述；(4)ISO/IEC 23894信息技术 人工智能 风险管理；(5)ISO/IEC TR 24030信息技术 人工智能 用例。4.1.2 ITU-TITU-T 主要致力于解决智慧医疗、智能汽车、垃圾内容治理、生物特征识别等人工智能应用中的安全问题。ITU-T SG1 安全标准工作组下设的 Q10“身份管理和远程生物识别架构和机制问题组”负责ITU-T 生物特征识别标准化工作，关注生物特征数据的隐私保护、可靠性和安全性等方面的各种挑战。其中，ITU-T SG17 已经计划开展人工智能用于安全以及人工智能安全的研究、讨论和相关标准化项目。ITU-T 自然灾害管理人工智能焦点组(FG-AI4NDM)正在关注人工智能在自然灾害管理中的应用。ITU-T数字农业的人工智能和物联网焦点组(FG-AI4A)正在关注农业领域的人工智能和物联网相关的实践 应用。4.1.3 IEEEIEEE 在人工智能安全方面主要聚焦伦理安全风险、可解释人工智能、人工智能医疗安全、深度学习评估、人工智能责任化等安全问题，发布了多项标准和报告，包括用于规范人工智能系统的 IEEE P7000 系列标准、IEEE 2841:2022深度学习评估过程与框架，以及在研项目 IEEE P2840责任化人工智能许可标准、IEEE P2894可解释人工智能的体系框架指南、IEEE P2802基于人工智能的医疗设备性能与安全评估标准：术语等。标准化研究Standardization Research信息技术与标准化http:/144.1.4 NIST美国国家标准与技术研究院(NIST)关注人工智能安全的可信任、可解释等问题，发布NIST SP1270 建立识别和管理人工智能偏差的标准，制定用于识别和管理人工智能偏见的技术指南；编制 NIST IR-8312可解释人工智能的四大原则草案，提出了可解释人工智能的 4 项原则；编制 NIST IR-8332信任和人工智能草案，探讨了人工智能应用安全风险与用户对人工智能的信任之间的关系。4.2 我国标准化进展4.2.1 SAC/TC260全国信息安全标准化技术委员会 SAC/TC260的人工智能安全相关标准主要集中在生物特征识别、智能驾驶、智慧家居等人工智能应用安全领 域16-18，及数据安全、个人信息保护相关领域，尚未有正式立项的人工智能基础共性的安全标准。近年，SAC/TC260 立项了人工智能安全标准研究 人工智能应用安全指南 人工智能数据采集及标注安全规范标准研究项目。即将发布的信息安全技术 机器学习算法安全评估规范，给出了机器学习算法技术和服务的安全要求和评估方法，能够指导机器学习算法提供者保障算法生存周期安全，开展机器学习算法安全评估。4.2.2 SAC/TC28全国信息技术标准化技术委员会 SAC/TC28 于2018 年 1 月成立了“人工智能标准化总体组”，2020年 3 月成立了人工智能分技术委员会(SAC/TC28/SC42)，国际对口 ISO/IEC JTC1/SC42，负责人工智能基础、技术、风险管理、可信赖、治理、产品及应用等人工智能领域国家标准制修订工作。目前，已发布人工智能标准化白皮书(2018 版)人工智能标准化白皮书(2021 版)人工智能伦理风险分析报告 人工智能开源与标准化研究报告等。5 人工智能安全标准化需求分析人工智能系统依托数据、算法、模型、基础设施等技术实现，具有组成体系复杂、风险维度多样、供应链复杂、安全运营要求高的特点。目前缺乏针对人工智能系统的风险管理、安全运营等标准，ISO等国际标准化组织已经在开展人工智能系统风险管理的标准研制工作，建议研制人工智能安全风险管理、供应链安全管理、安全运营等类型标准。人工智能安全技术主要是针对人工智能安全风险防控所采用的技术措施，近年来讨论较为集中的安全技术包括算法防火墙、恶意样本过滤、深度学习对抗安全、防御加固、隐私计算等。人工智能安全领域亟需开展人工智能应用安全标准化工作，通过人工智能应用标准体系、框架研究以及标准文件成果，规范引领人工智能应用发展，保障人工智能技术、产品和服务在具体应用场景下的安全。6 人工智能安全标准化工作建议(1)研究人工智能安全标准体系，加快推进人工智能安全重点标准的研制。坚持问题导向、急用先行的原则，落实中华人民共和国网络安全法 中华人民共和国数据安全法 中华人民共和国个人信息保护法 互联网信息服务算法推荐管理规定 互联网信息服务深度合成管理规定相关要求，推动人工智能安全标准体系的研制工作，进一步加快人工智能各类安全标准出台，为人工智能技术监管工作的落地实施提供标准化技术支撑。(2)加强人工智能相关安全技术研发，提高相关企业安全水平。大力推动人工智能相关安全技术的研发，包括伪造攻击检测手段、人工智能数据防伪、数据加密等技术，保障人工智能数据安全；推动成立人工智能安全实验室，定期开展人工智能产品的安全对抗工作；鼓励行业协会或社会组织开展人工智能安全技术交流，推广宣传相关最佳实践，发挥头部企业安全水平带动示范作用，整体提升人工智能安全水平。(3)加强人工智能监管，建立人工智能技术及应标准化研究Standardization Research2023 年第 9 期http:/15用的安全检测机制。加快推进人工智能技术监督的落地实施；督促企事业单位依据相关安全标准规范采取人工智能安全防护措施、加强人工智能数据安全管理，推动人工智能安全技术不断成熟，提高行业整体安全水平。建设人工智能安全检测评估公共服务能力，建立人工智能数据安全检测机制；面对人工智能重点领域重点应用，开展常态化的安全检测评估工作，对存在的安全问题及时监督整改，促进人工智能发展的安全性和有序性。7 结语在产业数字化和数字产业化的国家发展进程中，应聚焦国家战略发展重点，进一步完善人工智能安全标准体系，开展重点标准研制，在数字经济高质量发展中起到规范、支撑、服务的作用，使人工智能在制造、交通、能源等行业领域持续发挥驱动 作用。参考文献1 ISO.Information technology-Artificialintelligence(AI)-Usecases:ISO/IECTR24030:2021(en).Geneva:ISO,2021.2 ISO.Information technology-Artificialintelligence-Artificialintelligenceconceptsandterminology:ISO/IEC22989:2022(en).Geneva:ISO,2022.3 姚相振,张骁,郝春亮,等.汽车数据安全政策与标准化研究 J.中国信息安全,2022(3):82-85.4 郝春亮,刘贤刚,孙彦,等.人脸识别安全问题研究及标准化 J.信息技术与标准化,2020(10):60-64.5 中 国 电 子 技 术 标 准 化 研 究 院,上 海 依 图 网 络科技有限公司,云从科技集团股份有限公司,等.人工智能标准化白皮书(2021 版)EB/OL.2023-01-05.http:/ 胡影,孙卫,张宇光,等.人工智能安全研究 J.保密科学技术,2019(9):29-32.7 中国电子技术标准化研究院,清华大学,百度网讯科技有限公司,等.人工智能安全标准化白皮书(2019 版)R/OL.2023-01-09.https:/ 卢旗,郝春亮,胡影,等.面向人工智能安全的政策与应用发展分析 J.信息技术与标准化,2020(12):24-28,33.9 胡影,孙卫,张宇光,等.人工智能安全标准化研究 J.保密科学技术,2019(9):27-30.10HEY,MENGG,CHENK,etal.Towardssecuritythreatsofdeeplearningsystems:AsurveyJ.IEEETransactionsonSoftwareEngineering,2022(5):1743-1770.11任奎,孟泉润,闫守琨,等.人工智能模型数据泄露的攻击与防御研究综述 J.网络与信息安全学报,2021(7):1-10.12魏薇,景慧昀,牛金行.人工智能数据安全风险及治理 J.中国信息安全,2020(3):82-85.13上官晓丽,郝春亮,胡影,等.生物特征识别安全标准化研究 J.信息技术与标准化,2022(4):38-43.14纪守领,杜天宇,李进锋,等.机器学习模型安全与隐私研究综述 J.软件学报,2021(1):41-67.15姚叶.人工智能算法的不可解释性:风险、原因、纾解兼论我国“举报人免责制度”的具体建构 J.科技与法律,2022(3):129-137.16 全国信息安全标准化技术委员会.信息安全技术生 物 特 征 识 别 信 息 保 护 基 本 要 求:GB/T406602021S.北京:中国标准出版社,2021.17全国信息安全标准化技术委员会.信息安全技术汽 车 数 据 处 理 安 全 要 求:GB/T418712022S.北京:中国标准出版社,2022.18全国信息安全标准化技术委员会.信息安全技术智 能 家 居 通 用 安 全 规 范:GB/T413872022S.北京:中国标准出版社,2022.(收稿日期：2023-01-16)