人工智能的安全风险与防范.pdf

人工智能安全专题.IssueonArtificial Intelligence Security人工智能的安全风险与防范郑方Security Risks and Countermeasures to Artificial IntelligenceZheng Fang人工智能(artificial intelligence，A I)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学,其对人类进步的贡献是有目共、毋庸置疑的.然而，任何事物都有两面性，有好的一面就有坏的一面，这两面既相互排斥又相互依存，这就是矛盾的对立统一,本专题讨论人工智能的安全风险问题，以便为防范安全风险做好准备。人工智能的安全风险类型有很多，从其源头看大致有如下几个方面：1）训练数据.人工智能很多算法和模型依赖于训练数据，训练数据往往又含有重要的信息，包括隐私信息.因而会有如下4类问题：训练数据被搜集者或管理者非法泄露，形成黑产灰产；训练数据被他人非法窃取，形成黑产灰产；训练数据或数据中所含信息，被他人利用基于该数据所训练出来的模型或系统的漏洞（如利用Chat-GPT漏洞)诱导后流出，或通过模型反演获得；主观意图下的训练数据选取带来的偏见问题以及使用者的误判，如大模型引起的意识形态误导。2）算法黑箱.人工智能往往包括“感知-理解/推理-决策(动作)这样的过程.由于算法黑箱的不可解释性，算法在处理超越其描述边界的开集问题时往往会输出不可预知的结果，从而产生有危害的决策（或动作），如黑盒的深度学习引发的决策错误。3）算法漏洞.人工智能算法本身存在漏洞，这些漏洞成为系统被攻击的突破口，对系统产生危害.例如，对抗样本可以轻易地骗过深度神经网络，让其识别结果偏离实际。4）技术滥用.人工智能技术的滥用不仅会对人类社会带来现实意义上的危害，也会带来更严重的伦理问题，而降低使用门槛的生成式人工智能(AIGC)所产生的伪造音、视、文,加重了前述的危害和问题.5）技术依赖.人工智能技术还在路上，远没有达到完全安全可信的程度，但是人类对人工智能技术的依赖程度若是不断加深，会在很多方面产生发散式的影响和危害.例如，人们对大模型输出结果的过度依赖可能导致知识学习、文化教育、意识形态等方面出现混乱。人工智能因其发展迅速，关注度高，已渗透到各个研究领域和各个应用场景，很难用几篇文章覆盖其安全风险的全部方面.本期专题文章针对上述风险类型从以下若干方面展开论述：1）同济大学严驰的“生成式人工智能时代人工智能法的立法思考”从立法角度出发，提出人工智能法应明确分类分级监管，通过构建更科学合理的顶层设计方案，推动科技向善.2）国家工业信息安全发展研究中心刘永东团队的“人工智能算力基础设施安全体系架构研究”，为应对人工智能算力基础设施在建设和运营过程中面临的严峻的安全挑战，从强化自身安全、保障运行安全、助力安全合规3 方面提出了人工智能算力基础设施安全体系架构，提出发展建议，为人工智能产业健康、持续发展提供决策参考.3）中国人民公安大学李欣、曹艺萱的“我国算法风险及其治理研究综述”针对算法风险，从法律网址http:/1101信息安全研究第10 卷第2 期2 0 2 4年2 月lournalot lnformation Security ResearchVol.10No.2Feb.2024司法、政治治理、信息传播、商业经济4大领域部析算法风险形成机理，并从算法黑箱、算法歧视以及权力异化3 个维度提出算法风险治理框架，为推进我国算法风险治理理论研究与体系建设提供参考.4）清华大学北京信息科学与技术国家研究中心郑方团队的“生成式伪造语音安全问题与解决方案”,针对生成式人工智能（AIGC)算法问题，从技术角度对生成式伪造语音的生成算法和检测算法进行总结与分类，分析了技术应用的挑战点，并从技术应用、制度规范、公众教育、国际合作4个方面阐述了如何预防和解决生成式伪造语音带来的安全问题。5）陆军工程大学指挥控制工程学院张雄伟团队的“基于分治方法的声纹识别系统模型反演”，在语音语谱图上验证了基于深度网络的模型反演可以重构说话人的隐私信息，这与通过诱导问话从Chat-GPT获取用于模型训练的原始信息很类似.该研究警醒研究者重视声纹识别系统的隐私信息泄露问题，做到知已知彼，以进一步探索语音领域专门的隐私保护方法.6）北京大学、中国中医科学院和博雅正链（北京)科技有限公司联合研究团队的“融入结构先验知识的隐私信息抽取算法”，在自然语言处理领域提出一种融人结构先验知识的隐私信息抽取算法，设计了一种隐私数据的结构知识增强机制，赋予了模型对于句子语义结构的判断能力，缓解了隐私信息边界的判断不准确问题，为数据脱敏提供重要保障.随着人工智能应用的快速普及，人工智能的安全风险也日趋复杂，对其防范需要多层面展开，包括立法层面、管理层面、标准层面、技术层面，尤其是技术层面，需要加大用人工智能技术减少或阻止人工智能应用安全风险的研究力度和应用广度，以保障人工智能技术的健康发展.郑方博士，教授，博士生导师.清华大学北京信息科学与技术国家研究中心语音和语言技术团队负责人、清华大学人工智能研究院听觉智能研究中心主任、北京得意音通技术有限责任公司创始人兼董事长.IEEE高级会员、APSIPA副主席、中国计算机学会（CCF)语音对话与听觉专委会副主任、中文信息学会常务理事及语音信息专委会主任、声学学会理事、全国人机语音通讯学术会议常设机构委员会创始主席、公安部全国安全防范标委会人体生物特征识别应用分委会副主任，工信部中文语音交互技术标准工作组声纹识别专题组组长.我国首个声纹识别技术标准、我国金融行业首个生物特征识别技术标准等多项国家、行业标准的主要起草者。1021