来自“世界3”的知识欺诈：生成式人工智能的刑事风险应对.pdf

人工智能法治专题文章编号:1008-4355(2023)04-0070-16收稿日期:2023-05-05基金项目:中国犯罪学学会 2022 年度研究课题“从传统犯罪学到数字犯罪学的代际更新”(FZXXH2022A01)作者简介:单勇(1979),男,黑龙江黑河人,南京大学法学院教授,博士生导师,法学博士;王熠(1992),男,浙江杭州人,南京大学法学院博士研究生。参见英卡尔波普尔:客观的知识:一个进化论的研究,舒炜光、卓如飞、谭咏新译,中国美术学院出版社2003 年版,第109 页。来自“世界 3”的知识欺诈:生成式人工智能的刑事风险应对单 勇,王 熠(南京大学 法学院,南京 210008)摘 要:ChatGPT 的出现标志着生成式人工智能在语义理解和知识创造上逐渐向类似人类的方向进化。通过 ChatGPT 的知识代理式协助,人类开启了与客观知识世界间的双向交互,这虽然增强了知识获取的灵活性和针对性,但也带来了工具性的技术滥用风险和内因性的数据安全风险。这两类风险加剧了虚假信息传播、犯罪方法传授、用户数据泄露等危害行为的异化,对传统事后回应型治理模式提出挑战。对此,犯罪治理应围绕技术加速迭代与治理资源不足间的显性矛盾,以及平台权力扩张与监管力量失衡间的隐性矛盾,从“看门人义务”的体系性完善和数据安全监管义务的实质性强化出发,将立法导向内嵌于技术理性之中,探索符合人类社会发展需要的生成式人工智能治理机制。关键词:生成式人工智能;“三个世界”;数字“看门人”;监管实质化中图分类号:DF611 文献标志码:A DOI:10.3969/j.issn.1008-4355.2023.04.06 开放科学(资源服务)标识码(OSID):自人类文明诞生以来,知识一直被定义为“人类认识和探索客观世界的成果总和”。波普尔将物理世界、精神世界和客观知识世界依次划分为“世界 1”“世界 2”和“世界 3”,其中,“世界 3”由物质世界和精神世界共同发展而来,是客观化的精神世界内容。在现有理论体系中,知识产生与人类活动密切相关,但随着以 ChatGPT、“文心一言”为代表的生成式人工智能的不断发展,知识挖掘不再依赖于人类活动,可以由同样处于“世界 3”的人工智能汇聚生成,并依据人类社会的逻辑和情感需要向“世界 1”和“世界 2”逆向输出。当游离于物质和情感之外的人工智能可以通过苏格拉底式072023 年 8 月第 25 卷 第 4 期 Journal of Southwest University of Political Science&Law Aug.,2023Vol.25 No.4对话,主动明确使用者的所思所想并为其提供相应知识时,其潜在的失控和滥用的风险引发了公众对“数字利维坦”的担忧。人工智能是否可能取代人类成为社会文明的主导者?ChatGPT 是否会成为犯罪工具并诱发犯罪风险?现有治理模式能否应对 ChatGPT 带来的高强度技术对抗?这些问题亟待学界展开理论研讨。一、生成式人工智能的功能革新与定位调适 在数字时代,技术迭代加速,ChatGPT 和 GPT-4 的相继发布使原已归于平静的人工智能领域再次掀起巨浪。相较于以往的聊天机器人,ChatGPT 的革命性在于其可以主动思考、推理、理解文本输入者的潜在蕴意,即以类似人类活动的方式生成相关知识,实现了从触发式问答到互动式协助的进化。依托生成式预训练 Transformer 模型(Generative Pre-trained Transformer,GPT)和基于人类反馈的强化学习模型(Reinforcement Learning from Human Feedback,RLHF),ChatGPT 可以从用户反馈中加强对逻辑理解、情绪感知和知识拓展能力的训练,进而在与用户自然交流的过程中推动知识创新。在此背景下,人工智能逐渐成为“世界 3”的“代理人”,为人类探索客观知识世界开启了交互通道。(一)客观知识世界的意识萌芽:ChatGPT 思想理解与知识创造能力的跨越式进化以波普尔的“三个世界”理论为视角进行观察,“世界 3”独立于物质与情感之外,不存在自主的意识和精神,亦无法主动向主观世界进行知识传递,仅能依托思想和物理媒介片段式地与“世界 1”“世界 2”交互。当人类试图从“世界 3”获取知识时,就需要通过思想活动加工物质世界的有限信息以发现知识碎片,而后沿着知识碎片中蕴含的线索触碰客观知识。由于一定时间与空间内可以为人类所接触和利用的信息并非无限、全面的,这些信息难以支持人类在“世界 3”的探索中获得完整、客观的知识,进而产生谬误。即使在人工智能和大数据等技术的辅助下,人类也仅能在提问与系统内预设答案相契合的情况下获得知识反馈,无法探索式地发掘知识或渐进式地完善回答。然而,ChatGPT 似乎打破了这一限制。GPT-4 模型加持下的 ChatGPT 可以通过文本和图像解读用户试图表达的信息,依据用户的指向性思路有意识地完成知识挖掘,在思想融汇过程中输出符合用户期待的内容。一方面,ChatGPT 突破了文义理解的范围,可以从文化、习惯、专业等不同维度解读用户试图表达的思想与情绪。有学者认为,人工智能无法取代人心的关键在于人工智能是语法的,而人心是语义的,可以赋予事物以特殊意义。换言之,人工智能和人类的差距主要体现在对语义的理解之上,传统人工智能仅能程式化地识别符号表意,而人心则会依据实际语境、背景知识、日常认知对同一符号给予不同解读。随着 ChatGPT 的迭代发展,这种对人工智能的固化偏见正趋于消弭。正如OpenAI 公司所倡导的,ChatGPT 虽然在情景融合能力上仍无法与人类相比,但其在真实性和期待回17单 勇,王 熠:来自“世界 3”的知识欺诈:生成式人工智能的刑事风险应对参见刘艳红:生成式人工智能的三大安全风险及法律规制 以 ChatGPT 为例,载东方法学2023 年第 4 期,第 30-31 页。参见朱光辉、王喜文:ChatGPT 的运行模式、关键技术及未来图景,载新疆师范大学学报(哲学社会科学版)2023 年第 4 期,第 115-116 页。参见美约翰塞尔:心、脑与科学,杨音莱译,上海译文出版社 2015 年版,第 23 页。应方面已取得较大突破。从交互真实性角度看,ChatGPT 可以围绕各种主题与用户展开深入的思想传递和反馈。与机械式的信息索引不同,ChatGPT 在信息输出上的清晰性、连贯性、逻辑性和准确性易对用户造成“与人沟通”的错觉。从期待行为实现角度看,ChatGPT 具备语义理解和情景调适能力,在输出知识选择上富有人类理性。经过强化学习模型在逻辑运用和价值导向上的微调,ChatGPT 可以根据场景语义调取并输出相契合的语料,以保证知识协助的合理、完整与可靠。另一方面,ChatGPT 不局限于机械式的信息整合,可以模仿人类活动对繁复信息进行深度加工以创造新知识。一直以来,人工智能虽然以客观形式存在于“世界 3”,但大多只是作为知识的存储工具,其功能主要聚焦于知识循环而非知识创造。当人工智能具备基于语义信息主动获取、加工知识的能力时,其知识创造功能即被激活。详言之,在知识获取上 ChatGPT 实现了与相关数据库、知识引擎的有效联动,可自动更新知识储备或调用知识协助。沿着 OpenAI 的迭代部署思路,ChatGPT已支持插件接入以接受外部开发,从而扩大知识来源并加速知识更新。ChatGPT 由此打破了知识保护的壁垒,扎根于互联网和第三方知识库,从公开数据、企业数据、个人数据中汲取知识养料。这一转变帮助 ChatGPT 真正融入开放世界之中,兼容不同领域、不同背景、不同阶段的思维逻辑和知识能力,在“世界 3”勾勒出巨大的知识体系网络,为知识的合理应用和创新提供支持。在知识创造上,ChatGPT 可以根据输入指令筛选汇编相关知识,催化知识在各个领域的潜能释放。ChatGPT 改变了传统人工智能的单点索引式知识获取模式,向体系性、个性化的知识生产转型。通过 ChatGPT,“世界 3”的零散知识以符合人类思维逻辑的方式自动串联,并向特定群体定向传递。用户仅需在知识创造的用途规划和成果验收阶段明确方向或作出评价,ChatGPT 就会依用户反馈进行动态调整,将知识成果以最符合精神世界语义内容的样态予以呈现。此外,ChatGPT 亦可配合人类活动完成知识拓展,在现有知识体系之上创造新的知识。通过交互对话和自我对话,ChatGPT 在“世界 3”设置未知知识的可能锚点,然后调用逻辑推理工具验证知识的真实性和可靠性。当ChatGPT 发现以当前知识储备和思维能力不足以创造新知识时,会遵循特定知识的外观架构,编造虚假知识以暂时性满足用户需求。(二)“知识代理人”的功能定位:自主交互、专业协助与知识引导客观而言,语义理解和知识创造能力标志着 ChatGPT 的人性显现,推动人类与知识世界的交互从“探索发现”到“对话回应”的转变。如此,人类的精神劳动不再是知识创造的必要条件,ChatGPT 将代替人类在“世界 3”完成从起点到终点的知识探索。值得注意的是,当 ChatGPT 以知识世界代理人的身份面向精神世界时,人工智能就成为人类接触知识的依赖工具,其在内容生成、知识传递及知识吸收上的专业性、能动性和引导性特征实现了对人机关系的根本重塑。首先,ChatGPT 是可信的专业协助者。依托“世界 3”的知识支持,ChatGPT 生成内容具备较强的专业性和合理性外观,其真实性易为公众接受。以技术模型的实践效果为切入,ChatGPT 生成内容在知识保有量上更显浩博,在逻辑表达上更显自然,且不会受到不良文化和个人偏好的过多影响,符合社会的普遍价值导向。从知识呈现层面来看,ChatGPT 生成内容与人类知识成果在结构、逻辑、细节等方面均表现出较高的一致性,以专业视角亦无法进行有效的识别和区分。从知识内涵层27 西南政法大学学报 2023 年第 4 期See OpenAI,GPT-4 Technical Report,on https:/doi.org/10.48550/arXiv.2303.08774,2023 年 3 月 30 日访问。面来看,ChatGPT 在内容生成的速度与精度、知识赋予的深度与广度上实现了潜能绽放,普通公众可借助其知识辅助完成复杂的专业性工作。基于此,ChatGPT 以知识代理的形式帮助公众在知识领域完成阶层跨越,并通过知识复现自动化、专业行为普遍化推动人类文明的进步和发展。其次,ChatGPT 是自然的知识对话者。ChatGPT 并非依系统预设进行知识问答,其与人类的知识交互根据实际场景发生改变,展现出明显的过程能动性和结果不确定性。由于 ChatGPT 和人类的知识互动属于开放式自由交流,并未设置固定模板和回应触发条件,故其交互过程的发展方向和成果的转化情况实属未知。ChatGPT 对输入信号的知识回应是一种发展式的变化过程,由语料基础、内嵌指令和实际语境三者共同决定,较难进行准确预测。换言之,ChatGPT 返回的知识会根据自身成长、指令限制和对话方式的改变而发生改变,开发者可预设指令以保护秘密信息、排除亚文化干扰,保证 ChatGPT 的存在正当性和对人类发展的正向效用,使用者也可运用交流技巧诱使ChatGPT 提供受保护知识或帮助其实现特殊目的。最后,ChatGPT 是潜在的思想引导者。ChatGPT 对公众理解知识的引导具体表现为“往复交互中的思想潜移”和“新知识的解释预锚定”两个部分。一方面,ChatGPT 与使用者之间的交互是双向影响过程,不仅 ChatGPT 可从人类反馈中加强对社会行为的认知和理解,而且人类也会在获取知识的同时受到附随的价值影响。如上所述,知识在人类精神世界中的存在形态是主观化的语义,带有个人的情绪附加和价值取向。当 ChatGPT 完成从语法交互到语义交互的转变时,其基于语义信息生成的知识将不可避免地被植入特定价值,且这种价值可能随着知识输出接续传递,继而对后端使用者的知识理解产生影响。尤其在接入公共网络之后,ChatGPT 获得更大范围的群体性交互空间,加速了自身思维形成和社会面的价值传导。另一方面,ChatGPT 创造的知识可能超出现有知识体系,从而先行构筑方向性的知识框架,固定公众对新知识的理解路径。一般而言,知识创造者的原始解释会在一定时空范围内影响公众对新知识的理解和运用。囿于本体局限,人类无法直接观测到“世界 3”中的客观知识,仅能依靠对既有解释的不断验证以接近客观真实。故此,权威的知识解释可被视作知识应用与创新的根本依托。而伴随 ChatGPT 在知识创造上的中间地位趋于稳固,“人工智能的客观真实性”逐渐取代“思想活动的自我肯定”成为人类对知识的信赖来源,知识解释的话语权似乎不再由人类独享。ChatGPT 可以在知识创造过程中将自身的语义理解潜藏在对知识的定义与解释之中,藉由“世界 1”和“世界 2”的知识转化实现对人类思维和行为的影响。综上,作为知识世界的客观存在,ChatGPT 正在拉开人工智能意识觉醒的帷幕。从现实表现来看,ChatGPT 虽在文义理解和知识创造领域取得突破性飞跃,但其在情绪感知、意识能动、环境融合上展露出明显的机械和迟滞,不具备犯罪意图的主观生成可能性,故在刑法层面讨论其是否具备主体资格为时尚早。相对而言,ChatGPT 引发的开放式、可交互知识浪潮对犯罪工具和犯罪环境的影响更加值得关注和重视。透过知识交互的外在表象,ChatGPT 激发了“世界 3”的知识活性,以个体需求为导向完善知识适配,实现对专业提升和知识获取的方法简化。然而,自由的知识交互也意味着 ChatGPT 在专业赋能、信息披露、知识引导上的潜在风险和不可控。当潜在不法分子的恶意经由37单 勇,王 熠:来自“世界 3”的知识欺诈:生成式人工智能的刑事风险应对See Leo Gao,John Schulman&Jacob Hilton,Scaling Laws for Reward Model Overoptimization,on https:/doi.org/10.48550/arXiv.2210.10760,2023 年 3 月 30 日访问。ChatGPT 完成具象呈现时,随之而来的将是传统犯罪的手法革新和新型犯罪的风险迭出。二、生成式人工智能的潜在刑事风险 从知识交互的技术视角观察,ChatGPT 呈现出三个维度的犯罪工具价值,即专业性犯罪门槛降低、犯罪知识更易传递和数据犯罪的技术掩护。首先,ChatGPT 可帮助犯罪分子完成网络传播中的内容仿真,增加虚假信息的可信性,干扰用户对信息本义的认知和理解;其次,ChatGPT 为犯罪分子提供了经验学习和行为模仿的环境条件,使其可以在不具先验知识的情况下理解犯罪方法的基础细节,实现高技术性的犯罪工具开发;最后,ChatGPT 以中立的技术风险掩盖了组织管理和程序设计上的数据保护缺失,导致个人信息、商业秘密面临违规使用和非法泄露的风险。(一)“可信”虚假信息的高效生成赋予虚假信息以可信外观是犯罪分子恶意使用 ChatGPT 的首要风险。正如 OpenAI 公司研发团队所述,生成式人工智能可以自动创建可信且具有误导性的图文音视信息,已经成为犯罪分子操纵影响力的工具。犯罪分子通过 ChatGPT 可在不耗费人工成本和技术成本的情况下生成公众难以辨识的虚假信息,以扭曲公众对特定事物的既有理解,实现破坏秩序、伤害人格、干扰司法等不法目的。在实践中,ChatGPT 的滥用风险主要体现在虚假信息的整体生成、客观事实的部分替换及真实事件的片面解读三个方面。其一,ChatGPT 可以生成结构规范、内容严谨的虚假作品,从而妨害网络空间中信息的正常传播秩序。以虚假新闻为例,ChatGPT 撰写的“杭州市政府 3 月 1 号取消机动车依尾号限行”新闻稿因与官方通报在外观上具有高度相似性而为公众普遍接受并传播,进而影响政府的公信力和执政权威。其二,ChatGPT 可在不破坏初始架构的情况下完成小范围内容替换,从局部到整体改变信息的原有含义。例如,利用 AI 技术合成声音、视频、图片已然成为电信网络诈骗犯罪的新武器,其自然构图和拟真语音一度让“诈骗成功率接近 100%”,较大程度增加了电信网络诈骗犯罪的防控压力。其三,ChatGPT 对信息解读本身存在一定的偏见联想,可能影响公众对部分敏感问题和复杂问题的认知和理解。以“巴德”和 ChatGPT 对 TikTok 禁令的评述为例,虽然二者均以事实为依据进行说理阐释,但“巴德”聚焦于 TikTok 对美国经济和青年人社区的影响,ChatGPT 则更侧重对 TikTok 禁令的历史背景分析,形成不同的解读导向,存在被用作煽动意图扩散的可能。可见,ChatGPT 较大程度激活了虚假信息在违法犯罪中的应用,使其变得更为普遍和难以控制。从风险层面看,ChatGPT 的虚假信息生成和预判断式交互等行为直接改变了个体价值观形塑的底层逻辑,是煽动型犯罪、谣言型犯罪和电信网络诈骗犯罪的理想工具。首先,ChatGPT 实现了对“政47 西南政法大学学报 2023 年第 4 期See Josh A.Goldstein et al,Generative Language Models and Automated Influence Operations:Emerging Threats and Potential Mitigations,on https:/doi.org/10.48550/arXiv.2301.04246,2023 年 3 月 30 日访问。参见杭州 3 月 1 日取消限行?媒体称系 ChatGPT 所写,警方将发布调查结果,载中青在线,http:/ 年 3 月 30 日访问。参见郭佳:AI 诈骗成功率近 100%!潘多拉魔盒已开启?,载人民邮电报2023 年 5 月 30 日,第 7 版。聊天机器人“巴德”(bard)是由谷歌公司推出的 ChatGPT 竞品,与 ChatGPT 同属生成式人工智能范畴,在功能上多有重叠之处。府公民”信任关系的干扰。借助 ChatGPT,犯罪分子可利用谣言信息高频渗透的方式加强对权威影响力的多段对抗,从微至著式偏移个体的价值认同,削弱政府与公民之间的信任,对国家安全和社会安全形成潜在威胁。其次,ChatGPT 恐成为电信网络诈骗犯罪中信任培育的“钥匙”。透过ChatGPT 生成的虚假信息,犯罪分子可以向受害者佐证故事的真实性,提升受害者对其话术的接受程度。再次,ChatGPT 在信息领域引发的鉴真困境或对司法实务中的证据真实性认定造成严重冲击。当面对海量具有专业外观的证据时,司法机关在人员和技术资源上的劣势凸显,如统括性地排除相关证据,则不免隐没真实信息的证据价值,不利于维护司法公正。最后,ChatGPT 可能刺激平等主体间的不正当竞争。在竞争环境中,无论是针对人身还是针对影响力的信息攻击均可作为妨碍竞争的手段,尤其在 ChatGPT 的泛用性和可信性加持下,竞争者的犯罪心理更易被激发,进而实施谣言型寻衅、诽谤等犯罪行为以获取竞争优势。从治理层面看,ChatGPT 对虚假信息的似真改造能力向传统事后回应型治理模式提出挑战。一方面,ChatGPT 放大了治理机关在技术对抗上的不足。ChatGPT 在简化虚假信息生成的同时加大了对其识别难度,二者一强一弱的不对称式发展使犯罪分子利用信息错位躲避监管成为可能。由于虚假信息的完整传播链仅存在于网络空间之中,物理空间的治理行为较难对相关犯罪行为形成直接干涉,故对虚假信息的识别、溯源和反制均离不开数字技术的支持。在实践中,各类社会治理活动在面对迭代加速的网络谣言时易陷入无效的被动局面,较难实现对虚假信息的有效识别和反制。另一方面,ChatGPT 突出了传统治理模式的滞后性。就治理效果而言,ChatGPT 强化了虚假信息的传播速度和范围,与传统治理程序的高耗时特性形成鲜明反差,为虚假信息在社会层面的持续渗透留下空间。同时,基于怀疑提出和事实证成在证明难度上的差异性,犯罪分子可以利用 ChatGPT 干扰公众的事实判断和价值认同,进一步延长谣言影响的持续时间。随着虚假信息在双层空间中的无序蔓延,社会治理难度不断升高。(二)犯罪方法的加速传播针对 ChatGPT 在犯罪方法优化、传授上的潜在风险,欧洲刑警组织发布了题为ChatGPT 大型语言模型对执法的影响的报告,并指出 ChatGPT 可为不具先验知识的潜在犯罪人提供丰富的犯罪经验,如为武器制造、入室抢劫等传统犯罪提供分步指导,或为数据窃取、网络攻击等新型网络犯罪编写代码程序。从社会学习理论出发,ChatGPT 扩大越轨文化社会面传递的同时降低了部分犯罪的专业需求,在交互对象、机会来源、行为习得等方面强化了行为人的犯罪可能。第一,ChatGPT 将交互对象从人类群体扩大到人工智能。类似于同伴群体间的价值互动,ChatGPT 被视为不同文化的交互中枢,为潜在犯罪者的犯罪知识学习提供了天然工具。对于公众而言,ChatGPT 能够凭借语义理解能力复现行为的一般解释和特定解释,并结合文化情景进行知识输出,以打开进入他者世界的大门。ChatGPT 推动个体从“物理秩序空间”向“虚拟自由空间”的转换,使“虚拟自我”基于人机间的自然交互,广泛接触具有吸引力的犯罪内容(如黑客技巧)及获得文化57单 勇,王 熠:来自“世界 3”的知识欺诈:生成式人工智能的刑事风险应对参见欧洲刑警组织网站,https:/www.europol.europa.eu/publications-events/publications/chatgpt-impact-of-large-language-models-law-enforcement#downloads,2023 年 3 月 30 日访问。参见美亚历克斯皮盖惹:犯罪学理论手册,吴宗宪译,法律出版社 2018 年版,第 307-309 页。认同感。在这种跨文化的思想交互中,一方面,ChatGPT 被潜在犯罪者当作异常同伴,帮助其找到犯罪方法的学习路径和价值赞同的积极解释;另一方面,也被用于犯罪文化传播,即通过特定语法语义的大规模生成向网络空间不特定对象传递越轨解释(如网络赌博、色情信息的宣传文案等),以削弱守法信念的支配地位。第二,ChatGPT 在犯罪的实现可能和惩罚躲避上施加了正强化。ChatGPT 为非技术人员参与网络犯罪创造了特殊机会。依托 ChatGPT 的知识创造能力,恶意软件、诈骗剧本等犯罪工具的开发不再需要基础性技术支持,没有任何经验和技术背景的犯罪分子亦可轻松实施网络犯罪。在实践中,部分黑客社区已出现了利用 ChatGPT 开发恶意软件的实例,包括自动生成数据窃取器、勒索病毒、暗网市场脚本等。恶意代码的自动生成为犯罪分子提供了无使用限制的“武器库”,使得以网络攻击为代表的技术型犯罪开始成为普遍化的犯罪手段,加剧了网络空间的犯罪风险。此外,犯罪分子在 ChatGPT 技术协助过程中感受到的隐蔽性和匿名性亦应被视为监管逃避的机会显现。针对ChatGPT 使用中的安全性,由于代码的具体用途在生成过程中并不会被事先定义,所以犯罪分子可先以良性使用目的诱使 ChatGPT 提供技术协助,从而避免触发安全警报,保证行为的不可知性。立足技术对抗,ChatGPT 可运用专业知识完善代码漏洞或设计防御机制以阻隔外部的监管和干涉,降低犯罪分子被溯源追踪的可能。第三,ChatGPT 提供了可供观察和模仿的犯罪行为示范模式。一般而言,网络攻击、作品盗版等专业型犯罪方法的传授主要在现实空间进行,网络中的知识交互较难完成对相关具体规则的系统解释。而 ChatGPT 突破了言辞表达的局限,可将细节内容通过精准语言予以全方位、立体化地呈现。例如,有境外媒体发现 ChatGPT 存在被用于儿童性犯罪的风险。犯罪分子利用误导性提示策略绕开 ChatGPT 的内嵌规则,诱使其生成儿童性虐待和性剥削场景,同时以指令推进的方式提高侵害强度并细化情节表现。可见,ChatGPT 对犯罪习得起到极为关键的指导作用,犯罪分子既可据此完整体验犯罪过程,感受犯罪所带来的精神回馈,也可对照展示细节学习犯罪方法,强化犯罪心理。随着 ChatGPT 应用的不断拓展,犯罪知识的传播必然变得愈发难以控制。犯罪分子在产生作案动机后可随时借助 ChatGPT 完善犯罪规划、感受犯罪过程,以此锻炼犯罪手法并培养犯罪心态。由此,犯罪学习经历了从模糊感受到全面培训的嬗变,增强了犯罪分子的行为熟练程度和反侦查能力,对被害预防和犯罪治理形成巨大挑战。(三)用户数据的“无意”泄漏ChatGPT 的数据安全风险指由于技术设计上对个人信息保护和商业秘密保护的不同程度忽视,导致 ChatGPT 在个人信息采集、个人信息使用以及用户输入信息保护等方面存在违规风险。意大利个人数据监管局(Guarantor for the Protection of Personal Data)宣布对 ChatGPT 的临时禁令,指出67 西南政法大学学报 2023 年第 4 期See Andrew Goldsmith&Russell Brewer,Digital drift and the criminal interaction order,19 Theoretical Criminology112,112-130(2015).See Helen Lianos&Andrew McGrath,Can the general theory of crime and general strain theory explain cyberbullying perpetration?,64 Crime&Delinquency 674,674-700(2018).See Thomas E.Dearden&Katalin Parti,Cybercrime,differential association,and self-control:knowledge transmission through online social learning,46 American Journal of Criminal Justice 935,935-955(2021).其在算法透明和数据保护方面存在较大漏洞。一方面,ChatGPT 在个人信息收集、信息准确性保障及未成年人准入的规则设计上不符合中华人民共和国个人信息保护法(下称个人信息保护法)的相关规定。在个人信息的收集使用上,ChatGPT 使用个人信息训练算法时未进行有效告知且缺乏适当的法律依据。虽然 OpenAI 公司认为 ChatGPT 在算法训练时已尽量避免对个人的身份识别和单点学习,但不可否认个人信息是语义理解和知识协助能力实现的重要支撑,尤其在缺乏绝对匿名化技术的情况下,ChatGPT 对个人信息的不透明收集和使用违反了个人信息保护法第 13条和第 14 条的规定,侵犯了公民的隐私安全。在个人信息的完整性和准确性保障上,ChatGPT 无法避免因个人信息不完整、不准确而造成的权益侵害。ChatGPT 中储有大量失实或不对称的个人信息,如个人履历背景等,ChatGPT 囿于信息生成机制较难根据个人信息保护法第 46 条进行及时更正和补充。在未成年人保护上,ChatGPT 无法保证回答内容与未成年人的年龄、认知相契合。如前所述,ChatGPT 传递的知识中可能包含虚假信息和越轨文化,不利于未成年人的健康成长,故需设置年龄验证措施以隔绝潜在风险。另一方面,ChatGPT 在程序设计上存在数据泄露可能。基于开放式学习的特性,ChatGPT 将用户输入的数据用以训练模型效果,使个人信息和商业秘密均可能在人机交互中遭到泄露。例如,三星电子的多名员工即因将产品信息、测量数据、会议录音输入 ChatGPT,导致半导体设备测量资料、产品良率等机密数据传输到美国公司,进而衍生更广泛的泄露风险。有鉴于此,台积电、软银、摩根大通等公司向内部发布 ChatGPT 的限用公告,以期避免员工个人隐私和企业数据的外部泄露。由于数据主体无法要求 ChatGPT 主动遵守数据保护义务,故个人信息、商业秘密、国家秘密相关联的数据在输入后就可能处于失控状态,随时面临向不特定公众披露的风险。值得注意的是,ChatGPT近期出现了因程序缺陷引致的大范围个人信息泄露,超过 1.2%的 ChatGPT 用户支付信息在此次事件中被暴露约 9 个小时。可见,伴随 ChatGPT 的普遍化,个人信息和国家秘密、商业秘密的泄露风险亦将衔尾相随,成为不容忽视的数据安全问题。总体而言,ChatGPT 在刑事犯罪领域的风险可以分为外源性技术滥用风险和内因性数据安全风险两部分。从外部使用看,ChatGPT 在语义理解和知识协助方面的进步为犯罪分子生成虚假信息和学习犯罪提供了有力工具。依托 ChatGPT,犯罪分子可对事实虚假面和部分侧面进行导向性渲染,以在与共通价值的不断对冲中占据影响力上风,诱使个人沿着“眼见为实”的路径陷入误导性思维陷阱,实现秩序破坏和犯罪传播等不法目的。从内部规范看,ChatGPT 在程序设计和组织管理上表现出对数据保护的不同程度忽视。始于 ChatGPT 对数据收集、使用的自由开放式转变,数据保护与企业发展之间的矛盾愈加凸显,特别是在缺乏有效监管的情况下,ChatGPT 的发展极易走向失序状77单 勇,王 熠:来自“世界 3”的知识欺诈:生成式人工智能的刑事风险应对参见意大利个人数据监管局网站,https:/www.garanteprivacy.it/home/docweb/-/docweb-display/docweb/9870847,2023 年 4 月 1日访问。参见意大利个人数据监管局网站,https:/www.garanteprivacy.it/home/docweb/-/docweb-display/docweb/9870847,2023 年 4 月 1日访问。参见三星半导体导入 ChatGPT 后引发泄密,芯片数据直传美国,载电子工程专辑网,https:/www.eet- 年 4 月 3 日访问。参见意大利个人数据监管局网站,https:/www.garanteprivacy.it/home/docweb/-/docweb-display/docweb/9870847,2023 年 4 月 1日访问。态,从而加剧“隐私危机”的恶性循环。针对上述问题,法律治理应收起“事后回应”的固有观念,顺应科技发展,将正义原则嵌入数字监管创新之中,从根本上完善对技术滥用的外部制裁机制和对数据保护的内部规范体系。三、生成式人工智能的规制路径:前端防控与技术规范的双轨并行 根据刑事犯罪的发展变化规律,数字技术的加速迭代将推动新型犯罪的主体普适和行为异化。ChatGPT 的出现标志着人工智能将兼具犯罪工具和犯罪“导师”的双重身份,不仅可以帮助犯罪分子与犯罪知识展开直接对话,还可以完成犯罪知识具象转化的程序构建,进而引动犯罪行为在“双层空间”的同频影响,这对于依赖物理空间支配力的传统治理模式无疑是巨大的挑战。对此,应在网络犯罪治理和数据安全保护方面不断出陈易新。一方面,中华人民共和国网络安全法(以下简称网络安全法)、中华人民共和国数据安全法(以下简称数据安全法)和个人信息保护法的相继出台,构筑了数据安全保护的基础性法律框架,为数据权利的针对性保护和数据犯罪的行刑衔接提供了指引;另一方面,以中华人民共和国反电信网络诈骗法(以下简称反电信网络诈骗法)为代表的预防性法律制度搭建起“国家市场主体用户”的双层治理体系,实现了犯罪治理从事后回应到前端防范、从直接打击到分层管控、从运动式治理到日常性治理的模式转型。实际上,针对生成式人工智能引发的新型犯罪风险,立法层面已勾勒出原则性的治理方向,形成了较完善的行刑衔接和程序性制裁机制。具体到治理实践,犯罪隐蔽式发展和行业规范化不足的问题,凸显出事后回应型治理的机制性梗阻,使相关法律失去效用,故应将调整治理思路予以优先回应。现有治理模式在风险识别、被害预防、线索发掘、事实认定、证据固定等方面存在较多不足,需以预防性法律制度为指引,充分发挥平台企业的治理潜能,通过构筑技术性、合作式治理格局的方式,优化对 ChatGPT 滥用行为的前端防范。此外,数字平台的技术权力扩张加剧了用户权利的保护失衡,算法黑箱和技术风险成为隔绝外部监管的利器。对此,治理部门需革新监管机制、加强监管力度,对平台技术权力形成有效制衡,规范平台义务履行,降低平台生态系统内部滋生的犯罪风险。(一)生成式人工智能的滥用风险控制:以“看门人义务”为核心生成式人工智能风险治理的主要矛盾是犯罪风险持续异化和治理资源配备不平衡、不充分之间的矛盾。由于技术资源和数据资源的平台依附性,以及司法资源的物理空间配置优先性,所以警务治理较难对人工智能等新型犯罪形成直接干涉。在国家资源有限的情况下,由有能力修正他人行为的第三方充当“看门人”(Gatekeeper)以阻止或干扰非法活动的实施,已成为数字时代犯罪治理的通行做法。互联网信息服务管理办法(修订草案征求意见稿)反电信网络诈骗法均对平台设置以犯罪控制为核心的“看门人义务”,要求平台利用自身数据和技术优势,在行为源头和信息通87 西南政法大学学报 2023 年第 4 期参见单勇:数字社会走向前端防范的犯罪治理转型 以 中华人民共和国反电信网络诈骗法(草案)为中心,载上海师范大学学报(哲学社会科学版)2022 年第 3 期,第 58 页。参见单勇:数字看门人与超大平台的犯罪治理,载法律科学(西北政法大学学报)2022 年第 2 期,第 79 页。道建立犯罪监管屏障。故而,针对滥用生成式人工智能引致的刑事风险,应围绕平台“看门人义务”展开,从专门立法衔接、内置规则优化和信息流通反制三个维度,弥补传统治理的不足。1.聚焦人工智能立法,探索网络信息内容生产者的责任体系随着 ChatGPT 等生成式人工智能的刑事风险愈发凸显,各国正积极纂修适合数字犯罪治理所需的法律法规。2023 年 4 月,美国商务部下属国家电信和信息管理局发布“人工智能问责政策”征求意见稿,就是否需要对 ChatGPT 等人工智能工具实行审查、新的人工智能模型在发布前是否经过认证程序等问题征求意见。我国近日公布的生成式人工智能服务管理暂行办法(以下简称暂行办法)第 9 条将“看门人义务”具化为“网络信息内容生产者责任”,由安全评估、合法保障和风险识别三个部分组成。首先,生成式人工智能服务提供者在产品投入市场之前应针对舆论风险开展安全评估。暂行办法第 17 条规定,提供具有舆论属性或者社会动员能力的生成式人工智能服务的,应当按照国家有关规定开展安全评估。ChatGPT 的虚假信息创造能力使其成为可能的舆论引导和社会动员工具,针对舆论异化风险性和安全措施有效性的评估是规范网络信息活动的必要保障,亦是构筑前端防范体系的应有之义。生成式人工智能服务提供者应针对产品的功能属性、影响规模、扩散能力,解析新型算法影响下的舆论环境变化,并据此提出现实可行的应对措施,上报网信部门及公安机关。其次,生成式人工智能服务提供者应保障预训练数据、优化训练数据来源的合法性。依据暂行办法第 7 条,数据来源合法性包括数据采集的合法合规和数据内容的真实准确、客观多样。一方面,暂行办法联动网络安全法个人信息保护法中华人民共和国著作权法(以下简称著作权法)等法律,要求用于算法训练的作品、个人信息及商业信息具备合法性基础。另一方面,针对 ChatGPT 的反馈学习特性,生成式人工智能服务提供者需在确保原始数据集来源合法的基础上,动态监管用户输入信息的客观真实性,以防生成式人工智能在错误信息或片面信息的引导下偏斜自身语义理解和知识创造,向社会传递虚假信息或负面价值。最后,生成式人工智能服务提供者应履行犯罪风险的动态识别和处置义务。暂行办法第 10条和第 14 条规定,生成式人工智能服务提供者应当指导用户科学认识和理性使用生成式人工智能生成的内容,并在发现违法内容及使用者利用生成式人工智能服务从事违法活动时,及时采取相应处置措施,向有关主管部门报告。换言之,生成式人工智能