人工智能系统可信性度量评估研究综述.pdf

人工智能系统可信性度量评估研究综述*刘晗1,2,李凯旋1,2,陈仪香1,21(华东师范大学软件工程学院,上海200062)2(上海市高可信计算重点实验室(华东师范大学),上海200062)通信作者:陈仪香,E-mail:摘要:近年来,人工智能技术突飞猛进,人工智能系统已经渗透到人们生活中,成为人们生活中不可或缺的一部分.然而,人工智能系统需要数据训练模型,数据扰动会对其结果造成影响.并且随着人工智能系统业务多样化,规模复杂化,人工智能系统的可信性愈发受到人们的关注.首先,在梳理不同组织和学者提出的人工智能系统可信属性基础上,提出人工智能系统的 9 个可信属性;接着,从数据可信性、模型可信性和结果可信性分别介绍现有的人工智能系统数据、模型、结果可信性度量方法,设计人工智能系统可信证据收集方法.其次,总结当前人工智能系统的可信度量评估理论与方法.然后,结合基于属性的软件可信评估方法与区块链技术,建立一个人工智能系统可信度量评估框架,包括可信属性分解及可信证据获取方法、联邦式可信度量模型与以及基于区块链的人工智能系统可信度量评估架构.最后,讨论人工智能系统可信度量技术面临的机遇和挑战.关键词:人工智能系统;可信性;度量评估中图法分类号:TP18中文引用格式:刘晗,李凯旋,陈仪香.人工智能系统可信性度量评估研究综述.软件学报,2023,34(8):37743792.http:/ on Trustworthiness Measurement for Artificial Intelligence SystemsLIUHan1,2,LIKai-Xuan1,2,CHENYi-Xiang1,21(SoftwareEngineeringInstitute,EastChinaNormalUniversity,Shanghai200062,China)2(ShanghaiKeyLaboratoryofTrustworthyComputing(EastChinaNormalUniversity),Shanghai200062,China)Abstract:In recent years,artificial intelligence(AI)has rapidly developed.AI systems have penetrated peoples lives and become anindispensablepart.However,thesesystemsrequirealargeamountofdatatotrainmodels,anddatadisturbanceswillaffecttheirresults.Furthermore,as the business becomes diversified,and the scale gets complex,the trustworthiness of AI systems has attracted wideattention.Firstly,based on the trustworthiness attributes proposed by different organizations and scholars,this study introduces ninetrustworthiness attributes of AI systems.Next,in terms of the data,model,and result trustworthiness,the study discusses methods formeasuring the data,model,and result trustworthiness of existing AI systems and designs an evidence collection method of AItrustworthiness.Then,it summarizes the trustworthiness measurement theory and methods of AI systems.In addition,combined withattribute-based software trustworthiness measurement methods and blockchain technologies,the study establishes a trustworthinessmeasurement framework for AI systems,which includes methods of trustworthiness attribute decomposition and evidence acquisition,thefederation trustworthiness measurement model,and the blockchain-based trustworthiness measurement structure of AI systems.Finally,itdescribestheopportunitiesandchallengesoftrustworthinessmeasurementtechnologiesforAIsystems.Key words:artificialintelligencesystem;trustworthiness;measurement*基金项目:华东师范大学-华为可信创新实验室项目(15902-412312-19214/013);上海市可信工业互联网软件协同创新中心项目本文由“智能系统的分析和验证”专题特约编辑明仲教授、张立军教授和秦胜潮教授推荐.收稿时间:2021-09-03;修改时间:2021-10-14;采用时间:2022-01-10;jos 在线出版时间:2022-01-28CNKI 网络首发时间:2023-01-19软件学报ISSN1000-9825,CODENRUXUEWE-mail:Journal of Software,2023,34(8):37743792doi:10.13328/ki.jos.006592http:/中国科学院软件研究所版权所有.Tel:[phone]人工智能自 1956 年诞生以来,经历了从繁荣到衰退再到繁荣的螺旋式发展过程,出现了 3 次发展高潮1.第3 次高潮起源于辛顿(Hinton)在 2006 年提出的深度学习概念2,2016 年围棋机器人 AlphaGo3以该模型为核心的算法战胜了人类顶级棋手引发广泛关注,极大地推动了人工智能的研究与应用高潮.近年来,欧美日等国持续加大对人工智能基础理论和应用的重点投入,以保持其在人工智能技术方面的领先地位.我国政府在 2017 年发布了新一代人工智能发展规划,将人工智能正式列入国家发展战略4,学术界和产业界也掀起了人工智能研发热潮,李国杰院士和陆汝钤院士等多位人工智能科学家在多个场合呼吁重视人工智能的发展态势5,华为、百度、腾讯、科大讯飞等人工智能领域企业也在不断增强其人工智能方面的研发力量,人工智能在图像识别、数据挖掘、自然语言处理、推荐算法、信息检索、语言识别和自动驾驶等领域均得到了不同程度的应用.然而,随着人工智能不断融入我们的日常生活,人工智能系统的表现还不尽如人意.例如,近年来,许多学者发现,在图像识别领域,人工智能模型对训练数据非常敏感,当训练数据受到扰动时可能输出不恰当的结果,这种对抗性扰动已经成为人工智能模型,尤其是神经网络模型的梦魇:对抗攻击68.而且,在自动驾驶领域也有研究发现,除了人为的对抗攻击,极端光照条件也会影响视觉系统识别,从而影响自动驾驶9.另一方面,如果训练数据被偏见性地标注,相应机器学习模型的输出结果往往也会具有一定偏见性10.复旦大学管理学院企业管理系孙金云教授研究团队 2021 年发表的“2020 打车软件出行状态调研报告”表明,打车软件通过“差异化的偏差信息”提高了平台自身的收益11.这些数据一旦被滥用于机器学习算法,不仅可能导致偏见性的结果,还可能导致隐私泄露问题的出现.这类事件频繁出现,越来越多的专家和学者开始关注人工智能系统的可信性1,5,12.系统的“可信性”是基于传统的“安全”“可靠”等概念产生的,简单来说是指一个系统在实现给定目标时,其行为及其结果符合人们的期望13.刘克等人认为软件系统“可信性”是人类心中对客观对象各属性较为整体的反映14.在政府机构和有关学者的引导下,学术界和产业界都愈发关注人工智能系统可信性15,构造可信人工智能已经成为现代人工智能发展和应用的重要趋势和必然选择.然而,构造可信人工智能需要人们对人工智能系统的可信性有着清晰的认知,因而如何综合评估判断人工智能系统的可信性已经成为可信人工智能研究中的一个重要问题.因为人工智能系统可信性由其多维属性反映,并且人工智能系统的可信性问题需要从其训练数据可信性、学习模型可信性和预测结果可信性 3 个方面来考虑,所以对人工智能系统可信性的综合评估较为困难.本文从人工智能的可信属性入手,总结梳理人工智能应有的可信属性;接着讨论了数据、模型和结果可信性的度量方法,为度量人工智能系统可信性提供证据基础.在此基础上,本文讨论了现有的人工智能可信度量模型.然后,本文提出了一个基于可信属性的人工智能系统可信度量框架,期待推动人工智能可信度量的研究与发展.本文将从以下几个方面讨论人工智能系统可信评估的研究现状和面临的挑战.(1)人工智能系统的可信属性可信性是人类心中对客观对象各属性较为整体的反映,传统软件的可信属性通常包含可靠性、安全性、可用性、正确性等诸多属性14,人工智能系统作为软件系统的一种,其可信属性包括部分传统软件的可信属性.但是,人工智能系统本身的特性又导致其具有普通软件所不具有的其他属性,例如描述对抗数据干扰能力的鲁棒性,没有偏见的公平性等.因此,如何准确描述这些属性对人工智能系统的可信评估有着重要作用.(2)人工智能系统数据、模型和结果可信性与人工智能系统度量模型人工智能系统的可信性依赖于大量可靠的数据支撑、恰当的模型选择和符合预期输出结果,即其可信性依赖于其训练数据可信性、学习模型可信性和预测结果可信性.数据可信性是训练出可信模型的基础,模型可信性又是得到符合人们心理预期结果的基础,三者相辅相成,相互依赖,共同影响着人工智能系统的可信性.为了实现对人工智能系统可信性的度量,需要从数据、模型和结果 3 方面的度量结果收集可信证据.此外,现有对人工智能系统度量的工作也为人工智能系统可信性度量模型建立打下了坚实的基础.(3)基于可信属性的人工智能系统可信度量评估体系传统软件可信评估理论经过数十年的发展,已经被证明在传统软硬件系统开发中是确保系统可信必不可少的技术.例如列车控制系统和航空飞行系统开发国际标准中均要求将该方法贯穿于整个系统的开发周期以获得较高的可信等级认证16.尤其是基于可信属性的软件可信度量评估,现在已经有了较为成熟的研究成果,并被用于各刘晗等:人工智能系统可信性度量评估研究综述3775种安全攸关软件的可信性度量中17.然而,由于目前人工智能系统本身特有的性质,使得不能直接将软件可信评估理论简单地移植到人工智能系统,而是要针对人工智能系统本身的可信性进一步研究可信度量评估理论与技术.本文结合人工智能系统可信性现状和软件可信评估理论提出了一个人工智能系统可信度量评估框架,具体包括可信属性分解及可信证据获取方法、联邦式可信度量模型与基于区块链的人工智能系统可信度量评估架构.该框架还将保障数据可信性常用的区块链技术融入可信度量全过程,从而可以保障整个度量过程的不可篡改性.1 研究现状和动机 1.1 人工智能现状1950 年,计算机科学之父图灵在论文计算机器与智能中描述了智能的概念,并提出机器智能的测试方法,即“图灵测试”18.随后在 1956 年的达特茅斯会议上,美国 10 位学者正式提出了人工智能概念,达特茅斯会议也成为第 1 次人工智能研讨会,1956 年被称为“人工智能元年”19.人工智能的发展自其诞生以来经历了 3 次高潮.2006 年辛顿提出的深度学习算法的概念2,不仅掀起了深度学习研究与应用的热潮,而且促进了人工智能第 3 次高潮的兴起.人工智能发展的潮起潮落引领着人工智能不断健康地发展,也使得人工智能技术健康地服务人类.现在,人工智能技术在各个领域已经取得了丰硕的研究成果,图像识别20、自然语言处理21、计算机视觉22、自动驾驶23、推荐系统24等技术中处处可见其身影.1.2 可信人工智能发展战略规划如何保障人工智能的健康发展已经成为当前社会和国家关注的主要问题之一,许多政府和学者都倡导科学发展人工智能.2016 年 9 月,英国下议院提出应对机器人发展带来的伦理、法律和道德问题25.2018 年 3 月,欧洲政治战略中心提出要解决人工智能在发展过程中出现的偏见问题,研究人工智能的道德准则26.2018 年4 月,欧盟确立人工智能的伦理和法律框架27.2018 年 12 月,欧盟委员会的人工智能高级专家组(high-levelexpertgrouponartificialintelligence,AIHLEG)发布了可信人工智能伦理指南草案,该指南提出了一个可信人工智能框架,总计 10 项可信人工智能要求和 12 项实现人工智能的技术和非技术方法28.2016 年 10 月,美国国家科学技术委员会(NSTC)探讨了人工智能潜在的公共问题29,30.2017 年年初,美国国家科学基金会、国防部高级研究项目局(DARPA)启动可解释人工智能计划,发展可解释、可信的人工智能技术31.2018 年 4 月,美国国防部发表国防部人工智能战略,旨在促进美国人工智能安全32.2018 年 9 月 DARPA 启动了 20 亿美元的 AINext 战略,明确发展第 3 代人工智能基础理论和技术,重点内容包括鲁棒、对抗、高效知识推理,以及更强能力的人工智能理论和技术33.2018 年 6 月,新加坡成立人工智能伦理委员会,以帮助政府制定伦理标准34.同一时间,印度政府发布人工智能国家战略,其中重点涉及了道德隐私方面的问题35.我国政府从 2015 年开始就大力推进人工智能技术发展36,2016 年发展人工智能技术被列入“十三五”发展规划37.2017 年国务院和工信部提出新一代人工智能发展规划4,38,强调人工智能健康发展,2018 年国家标准化管理委员会发布的人工智能标准化白皮书中提到关注人工智能的安全、伦理和隐私问题39.1.3 软件可信性研究现状1.3.1软件可信性概念随着科技的不断发展,计算机在人类社会的普及程度越来越高,无论是经济、军事还是社会生活中的方方面面,人们都越来越离不开软件,对软件的功能需求也在不断增加.随着软件系统日益复杂化,开发规模不断扩大,或多或少都存在的软件缺陷使得人们越来越难以控制软件质量.各种各样的软件事故不断给用户带来严重的损失,软件经常不按人们期望的方式工作17,40,使得人们逐渐失去对软件的信任,可信性的概念应运而生14.“可信性”是在软件传统的“可靠”“安全”等概念的基础上发展而来的.1972 年,Anderson 提出可信系统的概念41,这是人们对计算机系统可信性的首次探索.但是此时人们大多关注硬件的可信性,直到美国国防部制定可信计算机标准时才提到软件可信性的概念42.Laprie 指出可信性与可靠性是两个不同的概念,前者比后者要复杂得多43.3776软件学报2023 年第 34 卷第 8 期美国科学与技术委员会 NSTC 则认为即使在系统在危险情况下,即系统本身存在错误,环境存在危险或者系统遭到其他人的致命攻击,设计者、实现者和使用者都能保障系统的大部分功能,使其不会失效,则该系统是高可信的44.美国国家研究委员会 NRC 认为一个系统即使在运行环境出现问题、操作人员失误操作、系统受到外界的致命攻击或者系统的设计和实现存在 Bug 的情况下,也能够按照原来设定的预期运行,得到预期的结果,那么该系统是可信的45.德国奥尔登堡研究生院的研究发现可信性应该包括正确性、安全性、服务质量、保密性和隐私性46.在我国国家自然科学基金委“可信软件基础研究”重大研究计划中,何积丰等人14认为可信性是人类心中对客观对象各属性较为整体的反映,提出了可信软件(trustworthysoftware)是指软件系统的动态行为及其结果总是符合人们预期,并在受到干扰时不会失效,并能提供连续服务的软件,这里的“干扰”包括操作错误、环境影响和外部攻击等.陈火旺院士则认为高可信性质包括可靠性、防危性、安全性、可生存性、容错性和实时性47.1.3.2软件可信性发展计划软件可信性保证对整个软件产业,特别对安全攸关软件研发的影响日益加深.各国政府、研究机构以及各大公司都对软件可信性研究提出了相应的研究计划.美国自然科学基金会从 2005 年开始便在可信计算研究领域投入约数亿美元48,政府的“网络与信息技术研究发展计划”中重点强调“可信软件”相关领域49;欧洲于 2006 年 1 月启动了名为“开放式可信计算(opentrustedcomputing)”的研究计划,旨在开发开源可信计算软件,已有 23 个研究机构参加50;欧盟于 1997 年 12 月通过的“第五框架计划”51和 2002 年 11 月通过的“第六框架计划”52都把高可信软件作为软件技术发展的重点.构造可信软件已成为现代软件技术发展和应用的重要趋势和必然选择.我国国家中长期科学和技术发展规划纲要(20062020 年)中将可信计算机的研究作为发展重点53;2007 年,“863”计划开展“高可信软件生产工具及集成环境”重点项目54;国家自然科学基金委于 2007 年提出开展“可信软件基础研究”重大研究计划14,并将“软件的可信性度量与评估”列为 4 个重要核心问题之首.1.3.3软件可信性度量评估软件可信度量评估有助于软件可信性保障,因而其研究成果具有重大意义.国内外一系列学者专家专注于此,并取得了丰硕的研究成果.Marascas 等人使用问卷调查的方法,结合多元统计分析方法,将人的主观评价和软件的客观度量结果相结合,形成综合的度量结果5557.美国国家标准与技术研究院 NIST 提出一种自上而下的软件可信性评估框架,使用形式化方法来确定软件可信值58.Alexopoulos 等人将贝叶斯概率和 DS 证据理论结合,使用模块化的思想,量化相关风险并对软件组件可信性进行度量59.Cho 等人提出了一个系统级别的可信度度量框架,从可信属性的角度度量软件可信性,该框架包含安全性、信任、弹性和敏捷性度量标准,称为STRAM 框架60.国内的许多科研团队同样在软件可信度量领域取得了丰硕的研究成果.杨善林院士团队采用专家打分的效用值结合 DS 证据理论来计算软件可信性61,62.郑志明和李未院士团队使用动力学分析,研究软件在动态开放环境下的行为统计学特征,建立软件关于可信属性的缩小化最优统计分析方法6365.王怀民院士团队对可信软件的概念做了进一步规范,也从可信属性的角度建立软件可信属性模型和软件可信等级,给出一种基于验证的可信证据模型66.王德鑫等人在王青教授团队建立了支持软件过程可信评估的可信证据,从开发过程数据来评估软件可信性67.陈仪香教授团队同样面向多维属性,基于公理化的方法建立面向软件多维属性的软件可信度量模型,并提出软件可信性分配模型与增强规范17,68,69.他们还从软件源代码角度,建立基于 Extensive 结构的软件可信性度量模型70.1.4 人工智能系统可信度量动机研究在人工智能技术发展初期,其应用主要是专家系统、定理证明、问题求解等领域71,这些领域任务相对较为简单,初期人工智能技术足以应付这些问题.随着人工智能技术发展,人们对人工智能系统和智能软件的需求不仅仅停留在这些简单问题上,图像识别、语音识别、无人驾驶、推荐系统等越来越多的领域开始应用人工智能技术,由此人工智能走向了第 3 次发展高潮.然而,和软件发展一样,人工智能系统愈发复杂化的同时,其可信性越来越受到人们的关注.2015 年 8 月,印刘晗等:人工智能系统可信性度量评估研究综述3777度一名配件公司员工由于离焊接金属板机器人太近而被机器人杀死72.2016 年 8 月,浙江大学徐文渊教授带领的团队在 Defon 黑客大会上对特斯拉自动驾驶技术进行攻击,导致其自动驾驶失效73.2018 年 3 月 Uber 自动驾驶汽车在行驶过程中没有识别路上行人,撞倒了该行人并导致其死亡74.人工智能系统不仅面临着传统软件所存在的可信问题,而且存在人工智能特有的问题.文献 75 发现医疗诊断工具对黑人患者分配较少的医疗资源,并且对许多白人患者,该医疗诊断工具拒绝使用黑人患者已使用过的治疗设备.同样,2018 年 5 月,亚马逊公司智能音箱出现故障,错误地把俄勒冈州一名女士和其丈夫的对话发到了他人邮箱76.这类事件使得人们对人工智能系统的可信性愈发关注,各个国家也在人工智能发展战略中提到发展可信人工智能.人工智能系统可信度量可以帮助人工智能系统的开发者和使用者了解人工智能的可信程度,使他们对人工智能系统的可信程度有一个明确的认知.开发者可以通过可信度量得出的结果进一步改进开发的系统,使得该系统可以保证用户安全的同时,让用户有更好的智能体验.用户也可以根据可信度量的结果对自己使用的智能系统的可信程度有所了解,在使用过程中可以放心享受智能带来的快乐和方便.因而,对人工智能系统进行可信度量是人工智能系统健康发展的必然选择.2 人工智能可信属性目前,越来越多的组织和学者关注人工智能系统的可信性,他们意识到,人工智能系统可信性不同于传统软件的可信性,它的可信属性除了包含传统软件所需要的可信属性外,还应包含许多人工智能本身特性而产生的相关性质.例如,人工智能模型的黑盒特性需要关注人工智能的可解释性与透明性.欧盟委员会人工智能高级专家组提出可信人工智能伦理指南草案28,为可信人工智能提出了可追责性、数据治理、普惠性、人工智能自主性的管控、非歧视、尊重和强化人类自治、隐私保护、鲁棒性、安全性、透明性共 10 个基本要求,这些要求给人工智能提出了可追责性、普惠性、自主性、公平性、隐私性、鲁棒性、安全性、透明性共 8 个可信属性.美国和 OECD 组织认为,可信人工智能需要拥有包容性增长、可持续发展和福祉、以人为本的价值观与公平、透明度和可解释性、鲁棒性以及安全性和防危性77,这些要求对应了可持续发展、价值观、公平性、透明性、可解释性、鲁棒性、安全性、防危性 8 个可信属性.美国国家标准与技术研究所NIST 对人工智能提出其需要拥有互操作性、安全性、可靠性、鲁棒性、公平性和可解释性共 6 个可信属性的要求78.IBM 公司则认为,人工智能系统应拥有公平性、鲁棒性、透明度和问责制、价值观、可解释性、隐私79.这意味着他们认为,人工智能系统的可信性应具有公平性、鲁棒性、透明性、可追责性、价值观、可解释性、隐私性 7 个可信属性.许多学者也对人工智能应用的可信属性提出了自己的见解.Singh 等人认为可信人工智能不应具有偏见,应保证公平性,模型具有可解释性与透明度、应对对抗性攻击的鲁棒性,系统本身还要做到隐私保护,保证安全性的同时也要具有得体性80.Singh 等人对人工智能提出了公平性、可解释性、鲁棒性、隐私性、安全性、得体性 6 个可信属性.Fujii 等人则认为人工智能系统要保证数据的完整性、模型的鲁棒性、系统的高质量、过程的敏捷性以及满足客户的期望81,他们更加强调完整性、鲁棒性、系统质量以及敏捷性.而对于 Chatila 等人而言,他们关注的是人工智能系统的透明性、可验证性、可解释性、安全性与鲁棒性82.Ashoori 等人也提出了影响人们信任人工智能的 7 个因素83,分别是决策风险、决策者、训练方法、模型的可解释性、训练和测试集的说明、社会透明性与模型置信度.这些因素强调了可信人工智能的公平性、鲁棒性、可解释性、透明性与置信度.我国何积丰院士也提出人工智能应具有鲁棒性、自我反省性、自适应性和公平性12.表 1 中列出了各个不同组织机构和学者对可信属性的见解.这些可信属性从不同的角度提出了对人工智能系统可信性的要求.从传统软件可信性的角度提出了人工智能系统可信性应满足的要求:隐私性、安全性、防危性、可靠性、系统质量和敏捷性;从人工智能模型的黑盒特性对其行为结果产生的影响提出了:公平性、鲁棒性、可解释性、透明性、可追责性、可验证性和置信度等属性;从人工智能要为人类服务的角度提出了可信需求:普惠性、可持续发展和互操作性;从人工智能应具有人的特征提出了:自主性、价值观、得体性、自适应性和自我反省性.3778软件学报2023 年第 34 卷第 8 期表1可信属性对比属性欧盟28OECD77NIST78IBM79Singh等人80Fujii等人81Chatila等人82Ashoori等人83何积丰12鲁棒性公平性可解释性隐私性安全性防危性可追责性透明性普惠性自主性价值观可靠性互操作性可持续发展得体性敏捷性系统质量可验证性置信度自适应性自我反省性人工智能系统作为软件系统的一种,其可信性需要满足传统软件的要求,而作为人工智能系统,其可信性又要强调其本身的特性和人的特征.因而,本文认为人工智能系统的可信属性应包含可靠性、隐私性、安全性、防危性、公平性、鲁棒性、可解释性、自适应性和自我反省性共 9 个属性.其中,可靠性要求人工智能系统能提供可靠服务,其数据、结果等应是可靠的;隐私性要求人工智能系统能保护其所拥有和使用的数据隐私不被泄露;安全性要求人工智能系统可以抵抗外来因素,保护系统信息完整性、机密性和可用性;防危性要求人工智能系统失效时不会产生不可接受的风险;公平性要求人工智能系统可以公平地对待所有使用者;鲁棒性要求人工智能系统可以在受到扰动时输出正确的结果;可解释性要求人工智能系统中的模型可解释,其判断过程可以被人类所理解;自适应性要求人工智能系统在新环境下可以适应,输出正确的结果;自我反省性要求人工智能系统对自身性能或错误能够有所感知.这些属性不仅结合了人工智能系统本身的特性和传统软件可信属性,而且也从为人类服务的角度考虑,更加准确地反映了人工智能系统的可信性特征,为度量人工智能系统的可信性奠定多维属性基础.3 人工智能系统可信度量证据人工智能系统可信证据是指可从人工智能系统中提取且用于衡量人工智能系统可信性的相关指标.因为人工智能系统的可信性问题可以从其训练数据的可信性、学习模型的可信性和预测结果的可信性 3 个方面来考虑,本节从这 3 个方法讨论了相关度量方法,并设计了人工智能系统可信证据的收集方法.3.1 训练数据可信性数据是人工智能系统中不可或缺的一部分,训练数据集的可信性直接影响着人工智能系统的可信性,有效保障和评估数据集的可信性有助于对人工智能系统可信性度量.数据来源于数据源,一些学者从数据源的可靠性角度对数据的可信性进行了评估.Ge 等人从关联和比较多数据源的角度出发,研究数据可信度评估问题84.他们基于数据一致性程度与数据可靠性关联关系提出了一种识别多个数据源一致信息的计算方法,采用两步过程来计算一组项目的数据一致性程度,这些项目由不同平台上的多组用户进行评级,首先构建多源深度信念网络(MSDBN)刘晗等:人工智能系统可信性度量评估研究综述3779来识别隐藏在多源评级数据中的常见原因,然后通过将单个来源与从潜在原因中导出的重构数据进行比较来计算每个项目的一致性得分.Tabibian 等人针对在线知识库数据可靠性和数据源可信度问题,从用户和专业编辑者对知识库内容可靠性的噪声评估数据入手,以噪声评估数据所留下的“时间痕迹”为线索提出了一个“时间点过程建模框架”,并将这些“时间痕迹”与数据可靠性和数据源可信度的健壮性、公平性和可解释性概念联系起来,基于凸优化技术从“时间痕迹”数据中学习模型的参数85.Fogliaroni 等人阐述了志愿地理信息(VGI)数据的质量评价问题,并针对该问题提出了一个基于版本更新的 VGI 质量指标量化模型,该模型依赖于出处信息,为地理特征和VGI 系统的贡献者分别推导可信度和声誉得分86.Zhang 等人提出了一个在多个数据源提供声明和支持性证据,并且每个声明可能由多个数据源产生的环境中估计数据源可信度的通用框架 JELTA,并开发了一系列概率模型,共同估计来源以及断言的可信度87.人工智能系统所需的数据在数据采集、数据存储等各个环节存在隐私泄露的风险88,近年来关于数据隐私泄露度量的研究也炙手可热,这些学者的研究对数据的隐私性和安全性的度量打下了基础.Liu 等人提出了一种轻量级隐私保护信任评估方案,用于协同车辆安全应用中的分布式数据融合,该方案能够在较低计算、通信和存储开销基础上,较好地平衡信任评估和隐私保护,从而促进协同车辆安全应用中分布式数据融合89.Xu 等人针对智能交通研究中车辆拥挤传感器系统中恶意节点生成虚假事件报告问题,提出了一种轻量级辅助车辆拥挤感知框架 TPSense,保证数据可信性和用户隐私:将数据可信度评估问题转化为极大似然估计问题,并通过基于期望最大化 TEEM 算法求解,完成事件报告可信度评估和车辆可靠性评估,达到在路侧单元上过滤虚假事件报告的目的90.Tsou 等人首次利用差异隐私的噪声估计评估数据泄露风险,使用数据噪声量作为桥梁来评估多个属性(数值或二进制数据)的数据泄露风险,并制定差分隐私和匿名化之间的关系,将两者关联起来91.区块链作为保障数据不可被篡改的技术,近年来一直被用于提高数据可信性,为数据的安全性提供了保障.Ardagna 等人在可信物联网保障评估的基础上,创新性地提出了一种基于服务的可信证据收集原子方法,并将其作为实现可信物联网环境的基础92.该方法将收集证据和汇总证据的方式联系,或根据证据做出可信决策,平衡所提供证据的可信度水平及其性能.该方法采用智能合约技术要求从每个智能设备收集的数据必须首先进行评估,只有在满足最低保证要求的情况下才能投入使用,并使用区块链作为数据存储库,存储可信证据收集和评估的所有交易.Zhang 等人将联邦学习的模型质量参数作为衡量候选员工可信声誉的指标,以实现联邦学习过程中可信员工的选择:使用交叉熵来计算联邦学习员工的可信声誉,给出归一化公式,并利用区块链技术抗篡改和不可抵赖性,设计区块链平台来管理记录下的声誉,从而提高联邦学习的可信性93.Distefano 等人采用分布式账本技术实现一个以车辆为中心的信息系统,通过网络分发数据,同时确保可信度.该文面向以可信车辆为中心的智慧交通系统领域,构建并实现一个信息系统:使用分布式数据库 MongoDB 和区块链多链技术来分别存储该系统中的数据和相关元数据,以确保整个系统的可信度和性能/可扩展性之间的平衡94.3.2 学习模型可信性人工智能系统模型是人工智能系统的关键要素之一,是人工智能系统的灵魂所在,其可信性对人工智能系统的可信性有着至关重要的影响.有关人工智能系统模型可信性度量的定义众说纷纭,莫衷一是,本文将人工智能系统模型的可信性定义为人工智能系统模型本身所具有的可信属性,如可解释性、鲁棒性、隐私保护能力等属性,因而对人工智能系统模型可信性的度量即是对这些模型本身性质的度量.近年来,由于大多数机器学习模型的黑盒特性,越来越多的学者注重模型可解释性的度量.Bau 等人提出网络解剖的方法来度量模型可解释性,网络解剖依赖于密集标记的数据集合,这些数据集合被标记上了颜色、材质、纹理、场景等诸多标签,在给定 CNN 模型的基础上,使用网络解剖寻找语义神经元,通过语义神经元的数量及其所有神经元的比例来度量模型解释性的分数95.Slack 等人通过用户研究实验的方式来评估可解释性,他们设计了1000 名参与者参与的用户研究实验,系统地比较了决策树、逻辑回归和神经网络 3 类模型的可解释性96.Sanneman 等人提出了一个基于人类用户信息需求的可解释人工智能系统框架,框架包括了可解释人工智能系统的 3 个级别,定义了可解释的人工智能系统应该支持哪些关于人工智能的算法和流程信息97.Rosenfeld 尝试对可3780软件学报2023 年第 34 卷第 8 期解释人工智能模型量化,并提出了 4 个量化指标来度量模型的可解释性,指标涉及解释后的模型和实际模型间的性能差异,解释方式中所使用的规则数目,以及模型在解释时需要的特征数目和解释模型的稳定性98.Lin 等人提出了一个系统性自动评估人工智能系统的可解释性框架,通过检查人工智能模型是否能够检测到输入中存在的后门,形成输出特定的预测结果,并使用 3 种度量指标量化人工智能系统的可解释性,整个过程无需人工干预,可以自动量化人工智能模型的可解释性99.鲁棒性是近年来人工智能模型所面临的另一个难题,许多学者也在尝试度量人工智能模型的鲁棒性.Ruan 等人将全局鲁棒性定义为在测试数据集中的最大安全半径的数学期望,并提出了一种基于 Hamming 距离的深度神经网络全局鲁棒性评估算法,通过迭代计算最大安全半径上下界来近似度量深度神经网络的全局鲁棒性100.Yu等人通过损失可视化来定性解释对抗攻击和防御机制,并建立了评价神经网络模型鲁棒性的量化指标.该指标通过结合一种新的正则化方法,在任何状态下不变地展示神经网络模型的鲁棒性101.还有许多学者使用不同的对抗攻击形式来分析模型鲁棒性,例如文献 102104 等都面向特定领域构造了对抗性示例来分析模型鲁棒性.人工智能模型需要大量数据训练模型,通过一些模型的输出可以倒推训练集中某条目标数据的部分或全部属性值,因而可能会对造成数据隐私泄露88,105,许多学者也在度量模型的隐私保护能力方面做了研究.Song 等人提出了“基准隶属度推理隐私风险”和一种基于预测熵修正的推理攻击方法:用基准攻击来补充现有基于神经网络的攻击,以有效地度量隐私风险;并介绍了一种用于细粒度隐私分析的新方法:通过构造和派生一个称为“隐私风险评分”的新度量,以度量个体样本成为训练成员的可能性,帮助敌手识别具有高隐私风险的样本,并以高置信度执行成员推理攻击;考虑上述攻击方法的隐私防御,将现有的总体隐私分析和其提出的细粒度隐私分析相结合,以系统地衡量隐私风险106.Ma 等人针对运动员成绩记录聚类过程中的数据隐私泄露问题,使用隐私感知的近似近邻搜索技术 SimHash,通过分析分布在不同云平台上的运动得分记录,对相似的球员进行聚类,实验证明该方法能有效解决基于运动成绩记录的球员聚类中存在的数据量庞大和隐私泄露问题107.此外,Yang 分析了对抗性样本产生的根本原因,提出了机器学习模型的一个新性质,即保真度,用来描述模型所学知识与人类所学知识之间的差距108,从而保障人工智能系统的可靠性.Yang 对保真度做出了明确的定义,并提出了一种方法,使用一组传统的机器学习模型作为评判标准来计算保真度.deBie 等人提出了一种评估和解释回归预测模型可信度的方法 RETRO-VIZ109,分析了人工智能系统的可靠性与可解释性.该方法由两部分组成:一部分是 RETRO,用来定量估计预测的可信度;另一部分 VIZ 则是一种帮助使用者理解预测可信度的可视化解释.他们在 117 个实验中使用了该方法,发现 RETRO-VIZ 分数与预测误差呈现负相关.他们还对用户做了相关调研,大多数人认为其解释有助于用户理解.3.3 预测结果可信性自人工智能技术诞生以来,人们就对其结果的可信性非常关心.本文将人工智能系统模型可信性和结果可信性分开,将人工智能系统结果可信性的度量定义为通过人工智能的结果来反应人工智能系统整体可信性的方法.在人工智能的分类任务中,学者们把分类结果分为真正例(TP)、假正例(FP)、真反例(TN)和假反例(FN),分别代表其判断结果有多少是判断正确的正例、判断错误的正例、判断正确的反例和判断错误的反例,通过错误率和精度两种方法来度量人工智能系统的分类结果是否可信110.其中,错误率(ErrorRate)是指在分类任务中分类错误的