生成式人工智能安全与全球治理报告.pdf

jjlftAI ffl&:i:)8J.ltlii5 Safety and Global Governance of Generative Al Report i!tWifit!ltR&*3Uffrt*Jllrr.if3f*t9.J 2024iF 1 F.I Jan 2024 目 录 目 录 编者的话编者的话I序言序言II人工智能治理：为了人工智能发展得更好更快，人工智能治理：为了人工智能发展得更好更快，II以加速实现全球可持续发展目标以加速实现全球可持续发展目标II龚克II介绍介绍V第一章第一章 生成式人工智能的风险与挑战生成式人工智能的风险与挑战1大语言模型怪兽对利维坦与法律秩序的挑战大语言模型怪兽对利维坦与法律秩序的挑战1季卫东1以更积极主动的治理应对人工智能发展中的风险与挑战以更积极主动的治理应对人工智能发展中的风险与挑战4段伟文4人类价值对齐难题与大模型伦理嵌入人类价值对齐难题与大模型伦理嵌入6王小红6人工智能的全球监管：主要差距和核心挑战人工智能的全球监管：主要差距和核心挑战8罗斯塔姆J诺伊维尔特(Rostam J.Neuwirth)8生成式人工智能对全球治理的挑战与应对生成式人工智能对全球治理的挑战与应对9孙南翔9全球人工智能风险不可避免地需要全球合作全球人工智能风险不可避免地需要全球合作10邓肯卡斯-贝格斯(Duncan Cass-Beggs)10第二章第二章 生成式人工智能的全球治理策略生成式人工智能的全球治理策略12基础模型和生成式人工智能时代全球人工智能治理的制度设计原则基础模型和生成式人工智能时代全球人工智能治理的制度设计原则12尼古拉斯莫斯(Nicolas Mos)，尤兰达兰奎斯特(Yolanda Lannquist)，12尼基伊利亚迪斯(Niki Iliadis)，尼古拉斯米埃赫(Nicolas Miailhe)12有关全球人工智能治理的关键政策建议有关全球人工智能治理的关键政策建议14周辉14基础模型开发和部署的国际监督基础模型开发和部署的国际监督16罗伯特特拉格(Robert Trager)，菲恩海德(Fynn Heide)16协调、合作、紧迫性：国际人工智能治理的优先事项协调、合作、紧迫性：国际人工智能治理的优先事项18卡洛斯伊格纳西奥古铁雷斯(Carlos Ignacio Gutierrez)18数据伦理与联合国教科文组织开放科学建议数据伦理与联合国教科文组织开放科学建议20国际科技数据委员会数据伦理工作组20通用人工智能或大型基础模型的国际治理：渐进原则与开放探索通用人工智能或大型基础模型的国际治理：渐进原则与开放探索22张鹏22I 第三章第三章 人工智能治理助力发展中国家与全球可持续发展人工智能治理助力发展中国家与全球可持续发展23发展中国家距离利用人工智能的力量还有多远？发展中国家距离利用人工智能的力量还有多远？23尤金尼奥巴尔加斯加西亚(Eugenio Vargas Garcia)23推动发展中国家参与人工智能治理与可持续发展推动发展中国家参与人工智能治理与可持续发展25鲁传颖25人工智能供应链与地缘政治：与全球南方国家共同治理人工智能供应链与地缘政治：与全球南方国家共同治理27方淑霞(Marie-Therese Png)27人工智能监督可以从碳排放中学到什么人工智能监督可以从碳排放中学到什么29夏洛特西格曼(Charlotte Siegmann)，丹尼尔普里维特拉(Daniel Privitera)29人工智能治理如何促进全球经济增长与可持续发展？人工智能治理如何促进全球经济增长与可持续发展？31廖璐31为全球大多数人的人工智能治理以东南亚为例为全球大多数人的人工智能治理以东南亚为例32莉安托涅特蔡(Lyantoniette Chua)32第四章第四章 工程视角下的人工智能治理工程视角下的人工智能治理34理解模型能力是全球人工智能治理的优先事项理解模型能力是全球人工智能治理的优先事项34纳撒尼尔沙拉丁(Nathaniel Sharadin)34标准化视角下的人工智能安全治理全球协作与敏捷更新标准化视角下的人工智能安全治理全球协作与敏捷更新36马骋昊、高万琪、范思雨36人工智能治理一场再建巴比塔的革命人工智能治理一场再建巴比塔的革命38王俊，娜迪娅38新加坡治理生成式人工智能的方法和实践新加坡治理生成式人工智能的方法和实践41丹尼丝王(Denise Wong)41通过人工智能技术民主化实现人工智能对齐通过人工智能技术民主化实现人工智能对齐43伊丽莎白西格(Elizabeth Seger)43学习机器的工程智慧学习机器的工程智慧45布雷特卡兰(Brett Karlan)，科林艾伦(Colin Allen)45多元、开放、互动：生成式人工智能模型训练所需的原则多元、开放、互动：生成式人工智能模型训练所需的原则47刘纪璐(JeeLoo Liu)47第五章第五章 企业视角下的人工智能治理企业视角下的人工智能治理49一种负责任地扩展人工智能模型的框架一种负责任地扩展人工智能模型的框架49迈克尔塞利托(Michael Sellitto)49以价值对齐塑造健康可持续的大模型发展生态以价值对齐塑造健康可持续的大模型发展生态51司晓、曹建峰51不要让深黑盒人工智能锁定了我们文明进化的路径不要让深黑盒人工智能锁定了我们文明进化的路径53韦韬53英特尔负责任的人工智能应用探索英特尔负责任的人工智能应用探索54邹宁、王海宁54致谢致谢56免责声明免责声明56联系方式联系方式56贡献情况贡献情况56I 编者的话 编者的话 本报告是由多元的作者观点汇集而成，旨在引起公众对生成式人工智能技术发展的安全性和治理问题的关注，并激发进一步的思考。我们认识到，这一领域的发展速度迅猛，伴随着许多潜在的挑战和机遇。报告中的具体观点仅代表各个作者本人，而不代表世界工程组织联合会创新技术专委会（WFEO-CEIT）或深圳科学技术协会的立场。我们强调，对于生成式人工智能技术的探索和应用，需要行业内外的广泛合作与持续对话，以确保科技的进步能够造福全人类，并在伦理和法律框架内得到妥善管理。通过这份报告，我们希望促进更多的交流和合作，共同探索这一前沿科技的未来。生成式人工智能安全与全球治理报告生成式人工智能安全与全球治理报告 II序言序言 人工智能治理：为了人工智能发展得更好更快，人工智能治理：为了人工智能发展得更好更快，以加速实现全球可持续发展目标以加速实现全球可持续发展目标 龚克 首先祝贺世界工程组织联合会创新技术专委会（WFEO-CEIT）和深圳市科学技术协会共同组织编写了这份报告，做了一件很有意义的工作。在这份报告中，来自不同国家和地区、不同行业和领域的专家们，为我们带来了在不同视角下对人工智能治理的观察和思考以及有益的实践经验，他们从不同的角度提出完善人工智能治理的建议，包含了非常重要的共识：比如，加快建立人工智能全球多方共同治理的机制和开展广比如，加快建立人工智能全球多方共同治理的机制和开展广泛的对话，将伦理作为人工智能治理的最重要的基础，将风险较高的领域作为加快建泛的对话，将伦理作为人工智能治理的最重要的基础，将风险较高的领域作为加快建立全球治理规范的优先领域，等等。立全球治理规范的优先领域，等等。发布这个报告的时间，恰好处于联合国 2030 年可持续发展议程的中点。在不久前举行 2023 年联合国可持续发展目标峰会上，各国领导人一致呼吁要加倍努力，加速实现可持续发展目标（SDGs）。联合国秘书长古特雷斯指出，可持续发展目标不仅仅是一系列目标，它们承载着各国人民的希望、梦想、权利和期许。然而如今，只有15%的目标按预期进展，很多目标甚至出现了倒退。现在急需制定一项全球计划来挽救这些目标的实现。古特雷斯强调要在 6 个关键领域采取行动，其中之一就是“利用数字化转型机遇”。可以说，我们急需人工智能成为推动可以说，我们急需人工智能成为推动 SDG 加速的实现的重要动力。加速的实现的重要动力。人工智能是革命性的通用目的技术，是驱动第四次工业革命和经济社会数字化转型的先进生产力。无论是从全球的层面（如加速实现可持续发展转型），区域和国家的层面（如结合区域与国家实际的能源转型行动、促进经济增长和就业），行业和企业以及各种组织的层面（如提高行业的数字化转型、增进企业竞争力和组织效能），还是个人的层面（如提升职业能力、提升家庭生活的便捷性等等），人工智能都具有极大的潜力。因此，人工智能的治理无论如何都不是也不应该是阻碍人工智能发展的因此，人工智能的治理无论如何都不是也不应该是阻碍人工智能发展的治理，而是促使它更好更快发展的治理。治理，而是促使它更好更快发展的治理。人工智能的快速发展尤其今年以来生成式人工智能的快速发展，在给人们带来前所未有的体验和惊喜的同时，也加剧了人们对人工智能安全和伦理的关切，甚至出现序言序言 III了一定程度上的社会焦虑。这就凸显了完善人工智能治理、保证人工智能可控、向善这就凸显了完善人工智能治理、保证人工智能可控、向善的重要性和紧迫性。的重要性和紧迫性。鉴于人工智能等新兴数字技术从本质上将是全球性的技术，这些技术不认可地缘政治边界。人工智能的发展和治理，涉及全人类的共同利益，它们产生的影响（无论是正面的或是负面的）都会产生跨越国界、跨越行业和专业的全球性、全局性影响。因此，对于人工智能的有效治理必须是全球的、多利益相关方参与的共同治理。因此，对于人工智能的有效治理必须是全球的、多利益相关方参与的共同治理。事实上，国际组织（联合国、G20、G7、OECD、欧盟等）和各国政府以及人工智能企业已经在人工智能治理上采取行动，从这个报告中可以看到这些努力和重要的治理发展以及有益的实践。然而，尽管各国、各个组织提出的这些治理原则在极大程度上是一致或相近的，但是仍然缺乏广泛的明确的全球共识，作为进一步加强全球行动的基础。在当前已有的治理发展中，应该特别重视联合国教科文组织（在当前已有的治理发展中，应该特别重视联合国教科文组织（UNESCO）的）的人工智能伦理建议书。人工智能伦理建议书。世界工程组织联合会（WFEO）从工程促进可持续发展的使命出发，在高度重视促进人工智能发展和应用以加快双重转型的同时，也高度重视人工智能的治理。2020年 WFEO-CEIT在第一个世界工程日发布了在工程中负责任应用大数据和人工智能的七项原则、2021 年 WFEO 支持联合国经济和社会事务部（UNDESA）和联合国秘书长技术事务特使办公室一起发布了人工智能发展战略资源指南，WFEO 还积极参与了UNESCO 的人工智能伦理建议书的咨询工作。我们认为，鉴于人工智能的发展和我们认为，鉴于人工智能的发展和应用都离不开工程，而且只有工程化的人工智能才能真正在人类生产和生活中发生作应用都离不开工程，而且只有工程化的人工智能才能真正在人类生产和生活中发生作用，所以，工程界应该成为人工智能共同治理中重要的、积极的一员。用，所以，工程界应该成为人工智能共同治理中重要的、积极的一员。从工程的角度看，应该特别重视将人工智能治理的伦理原则、法律规定落实到可以检验的技术标准之中。这些标准应该是全球性的，可以互通的和具有互操作性的。而要是这些原则和标准落到实处而不是停留于纸面，应当优先发展支持治理的技术手段和工具，比如隐私计算的技术、伦理审计的技术，等等。WFEO 还强调，人工智能的发展和治理离不开包括工程教育在内的广泛的能力建设，特别是要采取实际行动减少与人工智能相关的数字能力鸿沟，这本身也应该成为人工智能全球治理的题中应有之义。总而言之，作为全球工程界的领导者总而言之，作为全球工程界的领导者WFEO 愿意在人工智能全球共同治理中愿意在人工智能全球共同治理中发挥积极的作用。发挥积极的作用。我们相信，人工智能先进技术的发展和应用，是无可阻挡的，人工智能治理应该是促进性的治理，即以人工智能更好更快的发展为目标，最大限度发挥它的技术潜力为人类和地球的可持续发展服务；我们重申，人工智能的有效治理必须是全球的、多利益相关方参与的共同治理，当前应该的联合国的框架内组织广泛参与生成式人工智能安全与全球治理报告生成式人工智能安全与全球治理报告 IV 的对话以促进明确的治理共识，并形成常效机制（如同气候协定），作为进一步推进共同治理行动的基础；我们强调，人工智能的治理应该是基于伦理的治理，UNESCO的人工智能伦理建议书为此提供了重要的基础；我们还注意到，已经提出的治理原则和正在进行的治理实践，都采取基于风险的差异化治理，因此我们呼吁对于人工智能的风险认识应成为全球多元对象的优先事项；我们还主张，要把人工智能发展和治理的能力建设，特别是缩小人工智能能力差距，作为人工智能治理的重要方面，并在把帮助发展中国家建设人工智能能力方面，实施有力且紧迫的行动。龚克，WFEO前任主席（2019-2022），WFEO-CEIT顾问。介绍介绍 V 介绍介绍 2023年10月 18日，习近平主席在第三届“一带一路”国际合作高峰论坛开幕式主旨演讲中宣布中方将提出全球人工智能治理倡议，并于同日由中央网信办正式发布，围绕人工智能的发展、安全和治理阐述立场主张，表示愿同各方就全球人工智能治理开展沟通交流、务实合作，推动人工智能技术造福全人类。10 月 26 日，联合国秘书长古特雷斯宣布，正式组建一个新的高级别人工智能咨询机构，全球 39 名专家共商人工智能治理，以探讨这项技术带来的风险和机遇，并为国际社会加强治理提供支持。11月1日，首届全球人工智能安全峰会在英国布莱切利园拉开帷幕。包括中国、美国在内的 28 个国家和欧盟，共同签署了布莱切利人工智能安全宣言，一致认为人工智能对人类构成了潜在的灾难性风险。在这个背景下，本报告汇集了全球在这个背景下，本报告汇集了全球 40 多位人工智能治理、科技伦理、大模型安全多位人工智能治理、科技伦理、大模型安全和对齐、通用人工智能风险等领域的政策制定者、企业家、专家学者、工程师等的和对齐、通用人工智能风险等领域的政策制定者、企业家、专家学者、工程师等的 29篇评论，旨在引起对生成式人工智能发展与安全与治理的关注和进一步的思考，呼吁篇评论，旨在引起对生成式人工智能发展与安全与治理的关注和进一步的思考，呼吁开展广泛的合作。其中的具体观点并不代表任何主办和主编机构。按照讨论主题分为开展广泛的合作。其中的具体观点并不代表任何主办和主编机构。按照讨论主题分为以下五章：以下五章：第一章，生成式人工智能的风险与挑战第一章，生成式人工智能的风险与挑战 从近期和长远两个时间维度来看，专家们关注的近期风险和挑战包括：一是大语言模型的隐私和安全隐患；二是大语言模型生成的虚假信息和“幻觉”问题；三是模型的价值观偏差和缺乏解释性；四是模型滥用造成的道德和伦理风险；五是人工智能应用带来的知识产权和法律监管问题。而长远风险和挑战包括：一是人工智能可能导致经济和社会的重大变革，需要统筹应对；二是人工智能可能颠覆现有国际法律体系和世界秩序；三是人工智能存在全球共同的风险，需要建立国际规范和监管；四是不同国家和文化在人工智能价值观上存在分歧；五是强人工智能可能脱离人类控制，产生灾难性风险。总体而言，近期的风险更多集中在个别模型和应用层面，而长期的风险和挑战更多关乎人工智能技术的整体发展方向和社会影响。但无论近远，建立国际合作和制定伦理规范对于应对人工智能风险都至关重要。第二章，生成式人工智能的全球治理策略第二章，生成式人工智能的全球治理策略 专家们关注的优先事项为：一是全球合作与协调：在人工智能治理中强调国际合作的必要性，尽快启动多边协调与合作进程，促进广泛国家参与治理；二是风险识别生成式人工智能安全与全球治理报告生成式人工智能安全与全球治理报告 VI 与管理：集中关注人工智能系统可能带来的共同大规模高风险危害；三是伦理和透明度：在人工智能的设计、开发和部署中强调伦理原则和透明度；四是技术发展与安全的平衡：在促进技术创新的同时，确保安全和合规性。为此提出的相关政策建议包括：一是建立多边组织和国际社会的共同努力：为了识别和缓解人工智能风险，需要全球性的参与和合作，推动建立国际人工智能组织来确保国际监督标准的实施；二是制定风险预警和应对机制：包括事后监管审查和预防策略，确保系统的安全性和可靠性；三是建立第三方评估机制：独立专家的第三方评估补充内部评估，以提供一个稳固的安全网；四是构建可互操作的合规体系：推动不同国家治理规则标准化和对接；五是制定国际公约：在全球范围内分享人工智能成果与利益。总体而言，当前亟需统一全球视野，就人工智能治理原则和政策达成共识，并采取统筹协调的国际合作，以应对快速发展带来的挑战。第三章，人工智能治理助力发展中国家与全球可持续发展第三章，人工智能治理助力发展中国家与全球可持续发展 专家们认为，人工智能治理可以为发展中国家提供的助力包括：一是解决紧迫问题：人工智能可以帮助发展中国家应对贫困、饥饿、卫生事件等迫切问题，通过提供精确的数据分析和解决方案；二是弥补资源缺乏：利用人工智能，可以在资源有限的情况下有效地管理和分配资源，特别是在科技和教育领域；三是改善数字基础设施：通过人工智能推动网络和通信技术的发展，提高互联网接入和计算能力，缩小数字鸿沟；四是缩小能力差距：提供优质的教育和技术培训，提升本地人才的技术专长，增强就业机会；五是本土化人工智能应用：培养适应本地需求和文化的人工智能应用，特别是在语言和文化多样性方面；六是国际合作：推动发展中国家参与国际人工智能治理，确保它们在全球人工智能产业链和价值链中有话语权。对全球可持续发展的助力则包括：一是促进经济增长：人工智能可提升生产效率，降低成本，增强全球竞争力，尤其对发展中国家而言，这是推动经济多元化的关键；二是改进社会服务和基础设施：在教育、医疗、城市规划等领域，人工智能能提供更高效、更精确的服务，提升资源利用率，减少浪费；三是实现联合国可持续发展目标：人工智能可用于监测和评估可持续发展目标的进展，为政策制定提供数据支持，帮助更有效地管理资源，减少环境影响；四是推动包容性增长：通过包容性人工智能治理，考虑到所有国家的需求和愿望，确保技术发展惠及全球大多数人；五是国际治理与合作：建立国际治理机构和合作平台，促进知识和资源的共享，提供经济激励促进遵守规范，共同应对全球挑战；六是敏感性和透明度：监督人工智能行业的实践，确保其符合伦理标准，尊重数据隐私和安全，减少剥削性做法。介绍介绍 VII 总体而言，人工智能治理在帮助发展中国家加速发展和实现全球可持续发展目标方面发挥着重要作用，但同时也需要注意其潜在的挑战和风险，特别兼顾不同发展目标方面。第四章，工程视角下的人工智能治理第四章，工程视角下的人工智能治理 支持治理的技术手段和工具可能包括：了解和评估模型能力的重要性。目前还缺乏系统的概念框架来决定模型的具体能力，这阻碍了人工智能的有效治理。建议制定评估模型能力的标准化方法应成为治理的优先事项，并强调了在人机互动中形成合理策略和广泛的理解、知识和技能的重要性，可解释的人工智能也有助于发展实用智慧。加强人工智能安全治理的标准化工作。如建立准则更新机制、研制应用领域专项标准、建设试验区等。这些标准化工作有助于引导人工智能的可控发展。基于风险和多方参与的方法治理生成式人工智能，开发评估框架和工具，并寻求国际合作。这为负责任地应用人工智能提供了参考。通过开源和治理的民主化使人工智能开发与部署更符合公共利益，建议构建跨文化跨语言的伦理数据库，保持开放的公众参与，这有助于提高人工智能系统的安全性和价值对齐。此外，还需要加强国际间的对话交流、建立包容的安全规则、开源高质量数据集等，以应对当前人工智能发展中的规则分散、价值对齐难度、加剧贫富分化等问题。总体而言，工程技术对人工智能治理起关键支撑作用。需要深化对关键问题的理解，并将之转化为模型设计、训练与验证等具体实践。第五章，企业视角下的人工智能治理第五章，企业视角下的人工智能治理 各家企业的讨论各有侧重：迈克尔 塞利托(Michael Sellitto)介绍了 Anthropic 的人工智能安全级别(ASL)的概念，用于管理人工智能潜在的灾难性风险。该方法借鉴了处理危险生物材料的生物安全级别(BSL)标准，根据人工智能能力定义了风险等级，并要求不同等级采取不同的安全措施。司晓和曹建峰讨论了人类反馈强化学习在提高大模型价值对齐中的应用，以及其他技术和治理手段如数据处理、可解释性、对抗测试等在模型价值对齐中的作用，从工程层面保障人工智能系统价值观安全和对齐的方法。韦韬指出了近年来大语言模型在快速进步的同时，也面临缺乏认知对齐、原则性和可解释性等问题。这会导致人工智能系统产生严重的错误决策并快速扩散执行，造生成式人工智能安全与全球治理报告生成式人工智能安全与全球治理报告 VIII成难以预见的后果。建议人工智能系统需要提高认知一致性，建立可验证的推理链，并与人类专家互动学习。英特尔文章以其开发的伪造检测技术为例，讨论了负责任地应用人工智能改善民众生活的方法，如提高效率、创造力，帮助残障人士等，从应用视角阐释了负责任的人工智能工程实践。总体而言，这几篇从企业实践的角度，讨论了人工智能安全分级管理、价值对齐、开源治理、负责任应用等人工智能治理中值得关注的若干问题，提供了有益的建议和范例。其中，对于粤港澳大湾区，专家认为可以发挥的独特贡献和价值其中，对于粤港澳大湾区，专家认为可以发挥的独特贡献和价值 中国社会科学院哲学所科技哲学研究室主任、中国科协-复旦大学科技伦理与人类未来研究院的段伟文建议粤港澳大湾区可从三方面为人工智能治理作出贡献：一是数据治理创新，通过制度创新和试验探索，探索构建可信任的数据互通共享机制；二是实施人工智能驱动的区域整合发展战略，将人工智能治理的目标与人才、教育和就业战略结合起来，对大湾区的人才、教育和产业进行布局，使之适应人工智能未来的发展；三是打造人工智能东方大湾区特区，在良好的人工智能治理和人工智能驱动区域发展的基础上，吸引全球人才，通过更具动态可塑性产业促进政策和不断优化的人工智能治理模式，构建全球人工智能创新试验区。中国电子技术标准化研究院的马骋昊、高万琪和范思雨倡议在深圳建设国际人工智能对齐与治理创新示范区。呼吁全球人工智能企业及科研院所共同参与，在一定范围内共同验证相关的对齐方法、标准规范、治理工具、数据共享机制等方面内容的科学性及可操作性。南财合规科技研究院的王俊和娜迪娅建议粤港澳大湾区具有海量数据规模和丰富应用场景优势，数据要素市场不断扩大。应该充分发挥自身优势，充分挖掘数据价值，在数据合规基础之上，进一步促进公共数据等开放，推进多模态公共数据集建设，打造高质量中文语料数据。香港大学的纳撒尼尔 沙拉丁(Nathaniel Sharadin)认为，以系统的框架评估和理解模型能力，应成为治理的优先事项。粤港澳可以利用区位优势，吸引国际人工智能企业来区内共建治理示范区，进行各类人工智能安全和伦理治理工具的验证，为全球治理贡献经验。综合利用粤港澳的区位优势、产业基础、开放程度等方面的独特条件，可以为全球人工智能治理作出积极贡献，提升区域和中国的影响力。第一章第一章 生成式人工智能的风险与挑战 生成式人工智能的风险与挑战 1 第一章第一章 生成式人工智能的风险与挑战生成式人工智能的风险与挑战 大语言模型怪兽对利维坦与法律秩序的挑战大语言模型怪兽对利维坦与法律秩序的挑战 季卫东 自 2017年谷歌发布 Transformer网络架构以来，短短五年多的时间，世界上迅速出现了一大群大模型，而这些模型又衍生出多种技术架构、多种模态、多种场景。从已发布大模型的全球分布来看，中国和美国明显领先，超过全球总量的 80%，其中美国的大模型数量一直位居全球第一。ChatGPT于 2022年 11月底一经发布，就凭借强大的对话能力和广泛的应用风靡全球，短短两个月的时间就让月活跃用户规模达到1亿，增速极其可观。此后，这些大型语言模型相继发布，从赋能个人、减轻企业负担等方面深刻影响了包括法律运作在内的各种社会实践场景，留下了一幅生成式 AI 物种大爆发的数字“寒武纪”景观。据不完全统计，截至 2023 年 5 月，中国科技企业和网络平台已上线各类人工智能语言模型 79个，其中通用模型 34个。必须承认，大语言模式在给国家和社会带来便利和利益的同时，也带来了令人不安的风险甚至威胁。其中四项可列举如下：首先，由于类似 ChatGPT 的大语言模型提供在线对话服务，它们可以比现有的互联网搜索引擎收集更多的个人信息和隐私。因此，在“知道太多、利益冲突”的情况下，大型语言模型及其操作者可能会通过控制沟通，诱导用户做出违背自己意图和利益的选择。其次，现阶段的大语言模型会将训练数据中不存在也不可能存在的事物视为真实的，并在对话中以不容置疑的语气进行描述。这就是用户经常抱怨的“严重胡言乱语”的现象。从科学技术的角度来看，这当然只是一种“幻觉”。“幻觉”现象与机器学习用有限的训练数据处理无限的未知数据的泛化能力密切相关。但在应用场景中，这种幻觉可能会导致虚假信息的传播，这对用户或社会来说可能是致命的。再次，大语言模型在使用各种数据进行学习或人工智能自动生成各种内容时，可能会引发复杂的知识产权识别和保护问题。为了确保 AIGC 的可信性并明确责任，应该发明、应用和推广数字水印技术。最后，大型语言模型可能有意无意地获取企业或政府机构的机密信息，操纵舆论，导致国家中央系统的安全体系出现漏洞，信息社会功能失调，甚至因恶意事故和犯罪而引发社会动荡。生成式人工智能安全与全球治理报告生成式人工智能安全与全球治理报告 2 人类对语言的处理和智力的利用实际上是在无意识的情况下发生的。科学哲学家迈克尔 波兰尼曾在 1964 年指出：“我们知道的比我们能表述的更多。”换言之，知识体系还应包括这种没有明确意识到、或未被社会常识所认可、或不能言说的默会知识。这一命题被表述为“波兰尼悖论”，并成为人工智能理论的基础。这也意味着人工智能对无意识的语言处理，根本就无法设计那种获得和应用所有语言的算法，也很难为机器学习设定明确的训练目标。现在通行利用神经网络进行机器学习，通过误差反向传播算法不断调整神经元权重和更新网络参数，逐渐减少误差，寻找训练数据的正解。人们发现，当神经网络的规模被大幅度扩张之后，人工智能接龙预测的精确度就会突然得到显著改善。这个发现及其有意识的应用使机器学习进入了深度学习阶段：无需复杂的规则和学习方法，只要让网络规模倍增就可以使许多难题迎刃而解，迅速提高泛化能力不言而喻，这种神奇效果也证明了大语言模型的重要意义。其实质是多层网络的自我学习和进入语境（in-context）的学习，以及在此基础上实现学习方法的学习元学习。这样一来，人类对机器学习的特征设计也就变得没有意义，人工智能实际上是开始进行自我塑造，形成一种自动化的生态系统，甚至有可能脱离人类的控制。正是在这里，“大语言建模怪兽”纷纷崭露头角，并且有可能因为在对数据进行深度学习中放弃给定的特征设计，转而自我设置次级目标而脱离人类控制，进而引起治理方面的严重问题。这意味着大型语言模型将助产新型非人类或超人类智能的诞生，这种智能将逐渐远离人类并发展出与人类截然不同的价值观。这也意味着，除了隐藏在区块链中的平台怪物和主权个体游击队之外，主权利维坦还将面临数十甚至数百个强大的大型模型庞然大物的挑战，即数字领域的国家主权，或者说“数字主权”。”面临着“百模大战”和失控的挑战。“数字主权”概念明确体现了主权国家对社会数字化转型的反应和自卫立场。为了防止上述各种风险演变成不可逆转的灾难，专家和行业领袖提出了暂停大型模型开发、实现价值对齐、加强人工智能监管等各种对策和建议。仅就价值对齐而言，例如，美国布鲁金斯学会 2022 年 12 月 8 日发表本杰明 拉森的文章人工智能的地缘政治与数字主权的崛起，作者认为人工智能发展的不平衡将导致国家之间的不信任加剧，进而导致数字主权的兴起和技术脱钩的出现；意识形态差异或道德原则差异可能对人工智能和信息技术的管理产生更广泛的地缘政治影响；因此确保人工智能价值观在国际层面的对齐可能是本世纪最重大的挑战之一。无论如何，这是一场前所未有的巨变，将不可避免地塑造新的国家和法律存在形式，并促进秩序范式的创新。3 第一章第一章 生成式人工智能的风险与挑战 生成式人工智能的风险与挑战 针对这一重大变化，中国政府的策略是通过统一的超算网络和基座模型层来合并和整合数十个大型模型巨头，并通过所谓的“主权区块链”来防止点对点交互失去控制的风险。结果必然会创建一个更强大的算法利维坦。正如米歇尔 福柯所预料的那样，这个算法利维坦实际上是一个环视装置。在这里，数十亿个探测器形成了视线陷阱，创造了大卫 里昂所描绘的那种监视社会和文化。这种利维坦算法无处不在且强大，只有通过人工智能系统中嵌入的程序性正当程序以及不同人工智能系统之间的去中心化制衡才能防止其滥用。从这个意义上说，也可以说，进入大模型和生成式人工智能时代后，人工智能治理的重点将从防止算法歧视转向防止模型滥用。在主权利维坦、平台怪物、LLM 巨头乃至自我主权身份意识的互动中，法律正当程序原则将被重新定义并与技术正当程序相结合，这种新的程序正义将发挥更重要的作用。人工智能价值对齐的挑战是构建符合人类价值观和利益的人工智能系统(Russell,2019)。这一挑战涵盖技术和规范方面(Gabriel,2020)。这项技术挑战旨在将人类价值观编码到人工智能系统中，确保它们按照预期行事。规范性挑战涉及确定人工智能系统和更广泛的人工智能开发工作应遵循哪些价值观。本文重点关注规范方面，并探讨了人工智能民主化的两种形式人工智能开发的民主化和人工智能治理的民主化 作为在人工智能发展中代表不同人类价值观的手段。季卫东，上海交通大学文科资深教授、上海交通大学中国法与社会研究院院长、人工智能治理与法律研究中心主任、计算法学与?AI 伦理中心主任、日本研究中心主任，美国斯坦福大学访问学者。国家重大人才工程特聘教授，享受国务院特殊津贴。生成式人工智能安全与全球治理报告生成式人工智能安全与全球治理报告 4 以更积极主动的治理应对人工智能发展中的风险与挑战以更积极主动的治理应对人工智能发展中的风险与挑战 段伟文 近年来，人工智能在认知、决策、知识生产和智能代理等方面日益显现出超强能力，这使得人工智能成为各国科技领域的优先发展事项。但也因为其发展所凸显的危害、风险和争议，而促使各国和全世界全面展开了人工智能治理。人工智能治理主要针对两个方面的问题：一是由于人工智能发展的价值和目标不明确，以及恶意使用和滥用，使其给人类、个人、社会、环境和生态系统造成了现实的危害和潜在的风险，其中包括对隐私和数据权侵害、偏见和歧视的加剧等。二是因人工智能发展的不平衡以及受益与风险分配的不公，带来了“谁受益？谁付出？谁承担风险？”“谁具有领先优势？谁会被甩在后面？谁处于暴露状态”等社会争议。从防范风险的视角，目前全球人工智能治理的紧迫事项包括三个方面：一是如何避免有意和无意的人工智能滥用可能导致的重大风险，特别是以往没有关注到的跨领域的复合风险，如随着技术与信息可及性增加和门槛的降低，人工智能与生物技术的非常规结合导致的不可预见的安全风险；二是如何缓解人工智能特别是生成式人工智能对岗位、就业、人才、教育的巨大冲击；三是如何在国际层面形成人工智能军备竞赛的多方管控机制和公开对话渠道。其中，对于国际社会如何建立有效的风险预警和应对机制并确保在关键时刻人类有能力摁下停止键，这一问题目前没有直接的答案，当可用从以下四个方面作出努力。一是各国和世界要在信息网络系统的安全性方面加强互信与合作，建立起全球风险预警系统；二是各国、不同区域和全球要构建起多个平行的信息网络系统，在有必要的情况下构建人类文明全数据备份时间机器、全球多个信息网络平行运作系统；三是发现和培养可用在人工智能时代具有超强认知、决策能力和未来洞察力的人才，在各国实施超强人才教育培养计划；四是加强人机行为的社会学、人类学、心理学和哲学研究，对此问题展开系统深入的探索。从促进发展的视角，为了助力世界各国特别是发展中国家的高质量发展和联合国可持续发展目标的落实，人工智能治理要从“被动补偿”和“主动优化”两个方面入手：一是要设法缓解以上两方面的问题，促使人工智能系统在整个生命周期中以负责任和可信任的方式发展；二是应联合国际社会进一步采取一系列主动的预先应对措施，包括利益补偿和平衡发展政策的实施，风险预见和强化防范、欠发达地区的人工智能素养提升等。5 第一章第一章 生成式人工智能的风险与挑战 生成式人工智能的风险与挑战 最后，对于粤港澳大湾区参与贡献人工智能治理，我有三点建议：一是数据治理创新，通过制度创新和试验探索，探索构建可信任的数据互通共享机制；二是实施人工智能驱动的区域整合发展战略，将人工智能治理的目标与人才、教育和就业战略结合起来，对大湾区的人才、教育和产业进行布局，使之适应人工智能未来的发展；三是打造人工智能东方大湾区特区，在良好的人工智能治理和人工智能驱动区域发展的基础上，吸引全球人才，通过更具动态可塑性产业促进政策和不断优化的人工智能治理模式，构建全球人工智能创新试验区。段伟文，中国社会科学院哲学所科技哲学研究室主任、中国科协-复旦大学科技伦理与人类未来研究院教授，享受国务院特殊津贴专家。生成式人工智能安全与全球治理报告生成式人工智能安全与全球治理报告 6 人类价值对齐难题与大模型伦理嵌入人类价值对齐难题与大模型伦理嵌入 王小红 信息伦理学家指出：必需确立一套基本的 AI 伦理准则，但这不容易，因为道德准则会在不同文化背景和 AI使用情境下产生差异。(Taddeo and Floridi,2018)机器道德哲学家也强调：虽然存在超越文化差异并为人类共享的价值观，但不同文化以及人类的不同道德系统在细节上仍有分歧。(瓦拉赫，艾伦，2017:66)有实证调研指出：AI 伦理原则取得实效的关键在于其本地化，而本地化过程中必然要遵循当地文化、宗教和哲学传统。(Danit Gal 2019:73)上述研究表明，“以人为本”这一抽象原则，在 AI治理实际情境中，往往会因文化差异导致实践价值差异，甚至可能出现 AI 治理技术的相互反制。由此，基于人类价值对其的难度和复杂性，我们提出 AI 伦理建构的哲学智慧共识策略：第一，超越文化的“概念鸽子笼”。(Dewey,1921:188)多元文化、不同价值的交流中，人们往往使用自己熟悉的文化中的“概念鸽子笼”，把另外一种文化中的事实分格塞进去，来解释不同的文化现象，这就造成了轻率地归类，主观地下定论。洞悉一个不同的文化的真正意图，任何时候都是复杂的任务。不同文化承载着不同的人类群体独特而漫长的生命历程，“使历史成为实际的原因是求生的意志和求幸福的欲望。但什么是幸福？人们对这个问题的答案远非一致。这是由于我们有许多不同的哲学体系，许多不同的价值标准，从而有许多不同类型的历史”。(冯友兰,1922)人类只有反思自身，藉理性以纠偏。第二，在有利于人性进步之准则下，尊重不同的历史所沉淀的多元价值。中西哲学比较研究揭示，文化差异性的一个重要方面就是，虽然所有文化共有一些基本价值，但是不同文化会给予这些价值不同的权重，形成不同的价值配置形式。(李晨阳,2019)不同文化在价值配置上可能永远无法一致，但是不同文化可以基于多元化的配置，达成有利于人性进步和人类发展的共识。东西方哲学思想和思维方式历经上千年，不仅亘古常新，却自古就不缺少深度共鸣。先秦孔子有言：“吾有知乎哉？无知也。有鄙夫问于我，空空如也。我叩其两端而竭焉。”古希腊苏格拉底说：“我只知道我一无所知”。中西方两位哲人，几乎在同一时期（雅思贝尔斯称之轴心时代）道出了遥相呼应的治学箴言。论语的多个表述，也与康德道德律令关键思想一致，即，只有当你愿意依此准则行事，才令此准则为普遍规范。源于礼记 中庸的“慎独”，新儒家继承和发展的“修齐治平”工夫论，这些思想与亚里士多德倡导的美德伦理学，均投射出东西方古老文化共同的哲学智慧。7 第一章第一章 生成式人工智能的风险与挑战 生成式人工智能的风险与挑战 第三，AI 大模型的伦理嵌入，不论自上而下式还是自下而上式，皆需要分析和清晰呈现道德哲学的