生成式人工智能沉迷的法律规制：动因及对策.pdf

北京行政学院学报 2024年第1期法律 社会中图分类号：D922.17文献标识码：A文章编号：1008-7621（2024）01-0118-11生成式人工智能沉迷的法律规制：动因及对策李岩康铭（辽宁大学 法学院，辽宁 沈阳 110036）摘要：生成式人工智能的蓬勃兴起为经济社会发展注入了新动能，正在深刻改变人们的生产生活方式，同时也容易导致人工智能沉迷问题。这不仅是个体层面的问题，更涉及人的思维自由、行为自由、人的主体地位等更深层次的问题。当前在防范方面还存在着对象范围过窄、监管方法不当、防沉迷领域局限以及防范义务不明确且手段单一等问题。应当从法律层面对生成式人工智能的沉迷问题进行规制，明确生成式人工智能提供者的防沉迷义务，转变监管方法，加大监管力度，建立生成式人工智能沉迷防范体系，发挥多元主体协同共治，确保生成式人工智能的使用符合人类整体利益。关键词：生成式人工智能；技术沉迷；防沉迷立法；人机关系；人工智能立法引言近年来，伴随神经网络、大数据和深度学习等技术的发展和运用，人工智能与生产的链接可能会引发生产方式的根本性变革。人们惊讶地发现人工智能在模仿人类表达、思考方式方面展现出的强大功能，并将其广泛应用于人们日常生活的各个方面，在社交、写作、编程、翻译、教育等领域完成赋能。生成式人工智能的应用改进了生产工具，推动产业升级，提升了劳动者生产能力。正如习近平总书记指出：“新一代人工智能正在全球范围内蓬勃兴起，为经济社会发展注入了新动能，正在深刻改变人们的生产生活方式”1。生成式人工智能的强大功能使得它能胜任本应由人类完成的各项工作，甚至包括构思、创作等“高级任务”。实践证明，人们在工作、学习中越来越依赖生成式人工智能，利用其完成各种任务的情形屡见不鲜。对生成式人工智能广泛而普遍的使用，一方面确实提高了产能，另一方面还需要警惕因过于依赖技术而产生的“技术沉迷”。尽管当下生成式人工智能沉迷的实例并不多见，但根据国务院发布的 新一代人工智能发展规划 精神，必须高度重视人工智能可能带来的安全风险挑战，加强前瞻预防与约束引导，最大限度降低风险。生成式人工智能的便捷性容易诱发对其“工具沉迷”，对此应当加以防范。当下法学界鲜有学者从防沉迷角度讨论生成式人工智能法律规制问题，对生成式人工智能防沉迷问题缺乏深入研究。因此有必要对生成式人工智能沉迷的诱因以及不利后果展开深入思考，探究生成式人工智能沉迷与传统互联网沉迷的区别，以此作为生成式人工智能沉迷法律规制具体措施的基础，并且提出针对生成收稿日期：2023-09-30基金项目：辽宁省“兴辽英才计划”项目：民法典 实施中的重大疑难问题研究（XLYC2004005）作者简介：李岩（1979），男，辽宁大学法学院副院长，教授、博士生导师；康铭（1997），男，辽宁大学法学院博士研究生。-118北京行政学院学报 2024年第1期法律 社会式人工智能沉迷的法律规制对策。一、生成式人工智能防沉迷规范存在的问题习近平总书记指出，要把握人工智能发展规律和特点，加强统筹协调，加大政策支持，形成工作合力2。据笔者统计，2020年至2023年6月14日，中央及各地方政府出台了70余项人工智能相关政策。在中央政府出台的政策文件中，人工智能政策较为强调人工智能技术在各个行业场景的应用，同时强调人工智能风险的防范。以此为契机，关于生成式人工智能的相关立法也开始崭露头角，但其中涉及生成式人工智能防沉迷的条款较少。当下直接涉及生成式人工智能防沉迷的规范只有 生成式人工智能服务管理暂行办法（以下简称 管理暂行办法）第10条。互联网信息服务算法推荐管理规定（以下简称 算法推荐管理规定）第8条、第18条第2款对算法推荐服务沉迷进行了规制，同样涉及生成式人工智能防沉迷问题。未成年人保护法 第71条、第74条以及 未成年人网络保护条例 第五章针对未成年人沉迷网络问题做出回应，考虑到已经有网络游戏开发者利用生成式人工智能技术设计游戏，以上规范与生成式人工智能沉迷的法律规制存在一定程度上的关联。上述规范体现了国家对生成式人工智能沉迷问题的重视，但同时也存在如下问题，导致其难以发挥应有的作用。第一，既有防沉迷规范更多偏向未成年人沉迷，忽略了成年人的防沉迷问题。即便是传统的网络游戏对成年人也具有较强的吸引力；生成式人工智能提供的个性化服务、更为真实的虚拟世界和虚拟人物同样容易使成年人沉迷其中。生成式人工智能沉迷涉及人类的思维能力、伦理道德、审美、人机关系等深层次领域，这与未成年人和成年人均密切相关。因此，对生成式人工智能沉迷的规制不能忽略成年人，但既有规范未注意这一问题，更没有针对成年人与未成年人在认知、心理、自控力等方面的区别设计不同的防沉迷措施。第二，既有防沉迷规范对生成式人工智能防沉迷的监管方式设置不当。从监管层面来看，对生成式人工智能防沉迷监管的重点在于“出现沉迷后果”，这显然不合适。管理暂行办法 第10条作为生成式人工智能防沉迷的一般性规定，其中“采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务”中的“有效措施”意味着“不能出现沉迷后果”，该防沉迷义务显然过高。此外，管理暂行办法 也没有规定相关行业协会对防沉迷治理的参与。第三，既有规范主要针对网络游戏以及算法推荐服务的沉迷问题，其适用范围有限。算法推荐管理规定 主要规制各种利用“生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等算法技术”的信息提供服务，侧重于信息的筛选和信息资源的分配（分析式人工智能），难以应对“提供设计思路”“生成文本、视频、图片”等生成式人工智能“专长领域”的沉迷问题。实际上，后者才是生成式人工智能防沉迷重点关注的领域。未成年人网络保护条例规定了网络服务提供者在使用时段、时长、功能和内容等方面按照国家相关标准提供服务，尽可能预防未成年人沉迷网络。但该条规定仅限于网络游戏等娱乐性服务，未提及其他类型，难免挂一漏万。第四，生成式人工智能防沉迷手段过于单一，对相关主体防沉迷义务设置不明确。一方面，管理暂行办法 只有一条笼统的“防沉迷条款”，缺少明确的防沉迷义务主体以及防沉迷义务的具体内容。另一方面，未成年人保护法规定了“限制网络使用时长”“限制打赏”等方法来防止未成年人沉迷网络，这种限制方法应对 根据权威解读，利用生成式人工智能技术提供生成式人工智能服务的，也属于“提供者”的范围。此处网络游戏开发者属于提供娱乐性服务，应属于生成式人工智能提供者的范围。参见辛勇飞：专家解读推动生成式人工智能精细化治理，http：/ 生成式人工智能浪潮下的传播革命与媒介生态从ChatGPT到全面智能化时代的未来，新疆师范大学学报（哲学社会科学版）2023年第5期。-119北京行政学院学报 2024年第1期法律 社会网络沉迷尚可，但面对能够提供多样服务的生成式人工智能却因手段过于单一而力有不逮。这是因为，生成式人工智能提供的服务是多样的，其既能提供沉迷性较强的娱乐性服务，又能提供简化机械式工作、有效节省工作时间的各项便捷服务。这就意味着，生成式人工智能沉迷的预防手段也应当是多样化的，只从使用时长等方面考虑难以达到防沉迷的目的。二、生成式人工智能沉迷法律规制的动因及理论基础科学技术是把双刃剑。习近平总书记指出，要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控2。尽管生成式人工智能带来的沉迷风险属于程度上的风险，但这并非意味着该问题不应被重视。恰恰相反，量变的积累通常会引起质变。不同于传统网络游戏沉迷的不利后果偏向个体性，生成式人工智能沉迷造成的危害还涉及思维、道德、审美、自由、主体性等人类社会层面的问题。生成式人工智能沉迷影响了人们的思想自由和道德自由，加剧了用户与生成式人工智能提供者之间的不平等地位，造成了人主体地位的虚化。因此不能将生成式人工智能沉迷与传统互联网沉迷混为一谈。当下缺少对生成式人工智能沉迷后果的研究，对生成式人工智能沉迷层面的风险研判不足，本部分主要讨论生成式人工智能沉迷的危害，以论证从防沉迷层面对其进行规制的必要性，并且作为下文规制对策的理论基础，以达到前瞻性应对风险挑战的目的。（一）生成式人工智能沉迷导致思想自由惰化人类过度依赖生成式人工智能进行决策、借助算法的力量“思考”，会剥夺身体原本应有的专注力、认知力和辨别力，导致思维能力的惰化，进一步限制思想自由。更为严重的是，人类如果缺少思考、缺乏创新，社会文明将会停滞不前。人的思维活动主要依赖理性的运用。理性是一种无限的概念，是一种先验的、追求无限的能力，“追求无限就是说，要把一个东西完全把握住”345，运用理性的推演能力来“促进一切知识的最终意图”41。而“理性推演”实际上就是形式逻辑思维的运用。换言之，人们总是喜欢通过逻辑推演的方式把握“无限的东西”，追求知识的完整性需要创新来完成。人类的创新离不开上述的思维活动。人通过对现象的观察以及对现有知识的积累，可以在此基础上完成形象思维到抽象思维的转变。研究者首先需要进行大量的观察，搜集足够多的信息文献，再结合自身的前理解与直观感知，并采用上述两种思维中所包含的归纳、对比、推理、判断、想象等综合思维方法对其进行整体上的把握。在这一过程中，仅仅依靠知性无法应对对象的丰富性，这就需要判断力发挥作用。判断力具有主体的主观能动性，其将诸多复杂的规律统一于少数的规律之下，这会引发一种“愉悦感”，进而达到内心与外界的和谐状态。这种状态实际上是“自由状态”，此时人们的思想可以天马行空，思绪万千，更容易产生“惊奇”。正是“惊奇”有助于形成突如其来的“灵感”，在此基础上形成新的观点和论证思路。但灵感非凭空产生，其穿插在抽象思维和形象思维之中，在经历了大量的形象思维和抽象思维训练后才能“顿悟”。这种“联系和交错”更多地依赖先验的判断力，这是生成式人工智能无法模仿和学习的。生成式人工智能沉迷造成人类思维惰化的原因在于：人类思维保持“活性”的机理在于大量的抽象思维，而生成式人工智能不具备人类的思维模式，它以另一种方式帮助人们跳过了思维过程。生成式人工智能具备像人一样的普遍的自我学习能力，可以自我进化并广泛适应各种传统需要自然人才能从事的领域5。人们借助算法增强了对世界的掌握能力，但当人们越来越依赖生成式人工智能这种节省脑力和精力的工 以网络游戏成瘾为代表的网络沉迷会导致未成年人身体功能、心理功能、社会功能受损等。网络沉迷对个体精神、价值观、人格、各项能力等造成负面影响。参见郭开元：网络不良信息与未成年人权益保护专题，预防青少年犯罪研究 2017年第4期。新一代人工智能发展规划 将“前瞻应对风险”作为指导思想的一部分。-120北京行政学院学报 2024年第1期法律 社会具之后，就会越来越离不开它。这一过程会存在算法黑箱，即无法得知生成式人工智能基于何种逻辑和思维方式得出这一答案。一方面，人类从这个“黑箱”中学不到任何东西，甚至可能出现“遇事不决，便问机器”的懒惰与“人假机威”的自大。另一方面，过分依赖技术将会部分或完全遮蔽人的能动性，诱使人们放弃思想的自由。在利用生成式人工智能直接得到“答案”的过程中，实际上是算法代替我们“思考”，这使人们迷惑于人工智能的强大功能而丧失必要的反思，从而放弃了对其他情形可能性的探寻，慢慢丧失自主思考的能力。如此限制了思路的多种可能性：思维的惰性会让我们越来越不愿意走出知识的舒适区，从而扼杀创造力。而越是百家争鸣、思想多元，越容易促进创新，促进学术盛世的形成；相反，过于强调“统一”“单一”“形式”反而会扼杀学术自由，扼杀人们创造的天赋。长期的沉迷与依赖使得人的思想能力逐渐陷入停滞，判断能力下降，创新意识减退。“当我们一有问题就习惯性地求助ChatGPT时，就会不自觉地将自己的思维能力降低到 庸人 的平均水平，在潜意识里丧失了创新的欲望”6。这样，人们由于缺少长期抽象的思维训练而变得“迟钝”，灵感和“惊奇”将与人们渐行渐远，人们也将渐渐失去可领悟、可反思、可批判的思维过程，如此将严重削弱人应有的认知能力、创新能力和思辨能力。长此以往，人类那特有的如电光石火一般的灵光一闪将不复存在。（二）生成式人工智能沉迷造成道德自由僵化1.对形式逻辑的依赖导致道德自由僵化。从认识论角度来看，伦理道德与知识不能相提并论，伦理道德不能通过形式的逻辑推理得出，否则将引发道德僵化的伦理危机。在科学和知识的领域内，人类对客观事物的认识过程的确可以总结为从个别到一般的归纳能力和从一般到个别的演绎能力，但在道德等价值评价方面，归纳和类推的适用范围始终有限。这是因为道德评价标准因为无法量化，无法通过数学公式进行运算，自然也就无法通过算法的形式逻辑得出。如果想通过理性形式逻辑（演绎推理）去认识、把握它们，将会产生逻辑上的无限后退，最终形成二律背反。此外，人们对某件事物进行价值判断时会运用一种“判断力”，这种“判断力”“按照某先天原则而与愉快或不愉快的情感有一种直接的关系”43，其同样不是来自逻辑上的判断，“不能通过概念加以规定”369-70的，因此无法将其通过形式理性的算法赋予生成式人工智能。只有将个体意志的内部规定外部化，同时又表现为群体性、普遍的行为方式，也就是社会的整体道德风尚，才是真正的道德，这同时也是我们内心的道德律。生成式人工智能相当于一个超大型的数据库，人们每次对它的“训练”，都有可能使它下一次的回答产生相应的变化。进言之，生成式人工智能通过算法汇聚了人们大量的价值判断标准，并且将之“融合”成一种新的道德标准反馈给人们。这样看来，生成式人工智能似乎具备了价值判断的能力。实际上并非如此。所谓生成式人工智能的“价值判断”只是通过抓取“关键词”的方式完成。当遇到类似的“关键词”时，再赋予其相同或者类似的评价。现实世界纷繁复杂，有时细微的差别可能会影响最终的价值判断。而人类理性的有限性导致其不可能赋予生成式人工智能完全的“能力”，其只能是有限的、机械的、对影响较强的层级映射，不可能像人一样从事物的不同状态中准确提取出差异性与稳定性。因此，纵然是拥有强大算力的生成式人工智能也很难将这些细微差别穷尽。如果该细微的差别没有被算法捕捉，那么其得出的价值判断必然是机械和僵化的。并且，由于算法无法完全理解人们的道德标准，加之算法黑箱的存在，使得其再次输出的价值评价未必完全符合人类的预期。如果人们产生了对生成式人工智能的过度沉迷或者依赖，将引发社会整体的道德风尚走向僵化。如果生成式人工智能通过理性的形式逻辑将道德评价标准一一演绎得出，整个社会将逐渐失去价值多元性，最终走向沉寂。此外，道德自律作为内心的强制，其与作为法律的外部强制并非完全割裂，作为外在强制性的法律，正是道德自律的外在化结果。换言之，对自由的这种强制本身就是自由所建立起来的。由此可见，随着人们对生成式人工智能沉迷的加深，社会将由内（内心的道德律）而外（法律）地被生成式人工智能影响，成为“AI帝国”，充满着单一化与器械化，多元与生机将不复存在。2.对机械化审美的沉迷导致道德自由僵化。-121北京行政学院学报 2024年第1期法律 社会马克思指出，艺术产品也会影响到艺术生产的主体7。从人类审美的角度来看，人们对生成式人工智能的依赖将导向审美机械化，最终造成道德自由僵化。审美与人类的道德存在内在的联系，人在欣赏美时会引发道德方面的思考，审美最终会引导一种共通感，进而引向道德并与道德相通3302。人们通过判断力将原本“杂乱无章”的自然界假定为“合目的”。对于这种“合目的”的假定产生的愉悦感不同于思辨理性中的“先验自由”，也不同于实践理性中的“实践自由”，而是表现为情感活动的自由感，此时人们发现自己是自由的，由此可以过渡到信仰、道德等物自体的部分，最终可能与道德目的相结合。在审美中，人们会意识到自己对自由与道德的接受性，在欣赏美的时候，可以带来、引发道德方面的思考。所有人在审美情感上达到相通，也就预示着具有“普遍法则”的道德律的形成。美是德性的象征4154。科学和艺术，最终都要通向一个目的，那就是道德的人3148。即便是“非纯粹美”的浪漫主义审美趣味，也能显示出“对美的展望”，人们的道德感同样会受到审美能力的影响。以上提及的鉴赏力对象为自然美，但作为人工产品的艺术品必须像自然那样“浑然天成”“不留痕迹”才是最美的，这就意味着对于艺术品的鉴赏依然离不开对自然美的鉴赏。因此，美和艺术可以看作知识和道德的入门，审美是培养美德爱好的最佳途径席勒的“审美教育论”同样持这一观点。马克思认为，人有现实的、感性的对象作为自己本质的即自己生命表现的对象；人只有凭借现实的、感性的对象才能表现自己的生命8209-210。这说明人的活动不仅仅是一种现实活动，也是一种感性活动。这同时暗示了人通过审美感受生命活动的价值。通过探查生成式人工智能“制造”艺术品的运行机理，不难发现这类“作品”只是通过大量输入人类的作品并对其进行对比、分类和归纳的结果，是机械、套路、形式化的，是不具备对生命意义的思考与人文情怀的。尽管算法可以模仿某位艺术家的风格生成“艺术作品”，但这并不是“自发的艺术品”，而是在构图、线条等可以量化的要素的基础上模仿而来。这只是通过将艺术作品“数据化”后机械模仿的结果。随着人类对生成式人工智能的沉迷加深，理性逻辑的力量会消除艺术中的“偶然性”，进而将技术整合到必然性之中。如果过度沉迷于生成式人工智能产生的所谓“艺术品”，会使得人类的审美逐步算法化、计算化、规律化，导致人们的个性被机械化的“统一”所取代，这种套路化、机械化的审美会影响甚至控制人们的审美口味。反映到伦理道德自由上，审美的对象是一种“象征”或“暗示”。如果审美变得形式化，那么算法机械、形式的“因果律”将替代人诸认识能力的自由协调，审美行为将难以达到“自由的愉悦”。长此以往，人们对生命活动思考的人文情怀亦丧失殆尽，人们的情感和伦理会被人工物所中介，“自由感”被“机械化”消磨殆尽。（三）生成式人工智能沉迷加剧了地位不平等表面上来看，生成式人工智能提供者与用户之间基于意思自治原则成立了服务合同，生成式人工智能提供者提供相应的便捷服务，用户根据合同条款承担相应的义务。这本是市场主体的私法自治行为。私法何以“自治”？这是因为每个人都具有自由意志，在这一层面每个人都是天生的自由人，这种内在的平等的自由是每个人凭借自己的人性应当具有的法权。然而，前述所谓“平等的自由意志”仅仅是一种假设，在生成式人工智能提供者与用户之间并不存在这种假设，面对生成式人工智能提供的服务，用户通常不存在“自由意志的选择空间”。这主要是因为用户对生成式人工智能形成的沉迷导致其“自由意志”受到潜移默化的影响，以及用户与生成式人工智能提供者之间的信息不对等。信息的不平等影响意思表示的真实性，一方无法有效作出判断而引发不公平和低效率。生成式人工智能提供者与用户的平等关系实际上掩盖了算法资本与用户之间的不平等关系。算法的开发和应用需要投入大量人力和物力，这就使得生成式人工智能服务的提供不得不依赖资本力量。利益的追逐是资本的固然属性。这就意味着，资本为了赚取利润会尽可能提高用户对产品的依赖，而生成式人工智能可以通过分析用户的喜好，不断优化算法推荐服务，使用户无意中产生对生成式人工智能服务的沉迷。生成式人工智能的无意识沉迷改变了信息呈现模式，产生了信息不平等。这是因为，-122北京行政学院学报 2024年第1期法律 社会生成式人工智能推送服务背后必然包括那些自动匹配的“令人愉快的算法”，这就意味着生成式人工智能推荐服务的内容多为人们所希望看到的二次选择内容；在其驱动下，人们自然而然地陷入“信息茧房”之中，难以完全掌握社会中的数据资源，由此导致信息呈现不平等与信息分布不平等。信息呈现不平等是指在算法信息过滤机制的影响下，人们发现相关数据的能力受到限制，进而导致信息呈现机会的不平等以及算法网络空间的信息话语权不平等。当人们沉迷于生成式人工智能带来的愉悦时，伴随着判断力与反思能力的惰化，其更加难以监视信息的过滤与呈现过程。更为严重的是，人们对生成式人工智能的沉迷加深了这种不平等。这是因为“信息茧房”效应会不断加重，如此进一步扩大了用户与生成式人工智能提供者之间的信息差。随着人们判断力、思维能力的弱化，人们的价值判断标准会被生成式人工智能的“价值输出”、推荐服务等干扰和控制，人的自由意志会逐渐被其侵蚀，导致原本就“不平等的自由意志”更加向生成式人工智能提供者倾斜，这进一步加剧了地位失衡，从而形成“恶性循环”。（四）生成式人工智能沉迷导致主体地位虚化生成式人工智能“工具沉迷”影响了社会共通感的形成，导致公众的社会整体语境价值被算法干预，造成“自由人”主体地位的虚化。社会价值语境的形成与人们的普遍共通感有关。共通感即共同的感觉，其“不是理性的抽象普遍性，而是表现一个集团、一个民族、一个国家或整个人类的共同性的具体普遍性”9。共通感并非纯粹先天形成，而是借助后天经验性的东西“教化”而成。通过教化可以使这种共通感指向民族或者公民的“共同品性”，最终同样影响一个民族基本的道德共识。“教化”的过程其实是一个不断影响的过程，它是把理性能力熔铸到感觉当中，在彼此共同生活中潜移默化地受到影响，而生成式人工智能将成为引导人们共通感形成的因素之一，尤其是当人们沉迷其中时。生成式人工智能的“教化”体现在如下两个方面。在大数据时代，生成式人工智能的自动化算法可以通过对个人信息的分析评估个人的健康、收入、喜好等个人特征，精准化影响个人的“选择”。有学者提出“轻推”这一概念，说明在不妨碍人们自由选择的前提下同样可以鼓励或诱导人们决策，引导人们选择特定的选项10。由于现在流行的算法越来越“亲人”，其可以“对公众认知态度的流变性塑造基于算法的数据监测评估系统对公众的社会需求、政治偏好、价值立场、文化需求等进行预测”11，根据用户兴趣爱好、个人特征等为其打造独一无二的智能化场景，满足用户信息需求和个性偏好，符合用户之所想。这一整个过程是一种“由生理驱动且不断自我强化的 自反性沉迷它在根本上，是一种人的生物学弱点”12，在其驱动下，用户审美体验等更容易得到满足，这就导致世人将如同魔法欣赏一般对生成式人工智能感到莫名的愉悦13。由此意味着人们容易陷入生成式人工智能沉迷，被生成式人工智能“引导”。生成式人工智能的大语言模型具有吸引人的社交特点，长时间沉迷于生成式人工智能、过度依赖人工智能的回答或者推荐，将导致用户的心智结构呈现为更具有形成性的“惯习”，进而形成算法对人的监视和控制，成为一种隐形的控制手段。这种机制下，生成式人工智能通过培养“惯习”进而构建出知识场域，影响人们对社会各个领域的认识与观念。随着人们对生成式人工智能的依赖甚至沉迷的加深，用户的主动控制对人工智能的约束力将越来越弱，最终成为一种“虚假控制”用户对于这种监视、控制、灌输仍在一定程度上处在一种不知情的状态。有学者做过类似的研究，通过访谈发现，当用户感觉可以控制他们的在线互动时，他们就不太会意识到生成式人工智能对自己行为潜移默化的干预，认为自己仍然是其主人，但实际上已经在无意中受其影响14。马克思主义实践论将人的本体归为社会性实践活动。“通过实践创造对象世界，改造无机界，人证明自己是有意识的类存在物”8162，而正是在对象性活动中，“人才真正地证明自己是类存在物”8163。包括生成式人工智能在内的科学技术作为人类实践活动的产物，其本质是工具，是人的力量的对象化。但在生成式人工智能的“教化”下，人们会在无意识中“跟着AI走”，人的情感认知、伦理行为、价值信仰和整体行为等会潜移默化地受其影响，最终影响整个社会语境价值的形态。大众的意识在算法个性化、价值-123北京行政学院学报 2024年第1期法律 社会分化和认知固化等作用下会影响社会整体共通感的形成，遮蔽国家主导意识形态的价值导向，消解国家倡导的价值信仰，蚕食主导意识形态的权威地位，导致公众的价值取向成为可计算的“数字价值”，从而在无意识中被 AI所引导。换言之，一旦形成对算法的依赖，“实质上就是在以服从历史模型的方式臣服于机器，机器便以尊重历史经验的表象实际统治了人类”15。进言之，本应服务于人类社会的机器人反而“引导”人类，造成人机关系异化；生成式人工智能并非是膺服于人，而是主宰了人。正如有观点所说，“当人工智能真的成为强人工智能或者超级智能时，或许人与机器的关系会颠倒过来”16，人最终被算法奴役，成为被AI驾驭的机器，停止思辨，丧失灵性，作为人的思想自由与行为自主性将被机器剥夺。综上所述，生成式人工智能发展的技术逻辑在资本逻辑的作用下会形成技术奴隶社会614。长此以往，人们的思想自由、行为自由将逐步被生成式人工智能侵蚀，人们与生成式人工智能提供者之间的不平等地位将进一步失衡，人类将逐步丧失主体性地位。随着人们对生成式人工智能的沉迷不断加深，上述影响会越来越严重。因此，无论从国家层面还是社会层面，这都是需要警惕的问题。三、生成式人工智能沉迷的法律规制对策习近平总书记指出，技术“一方面可以造福社会、造福人民，另一方面也可以被一些人用来损害社会公共利益和民众利益17。面对生成式人工智能，我们应当“在充分放大和加速其正面效应的同时，把可能出现的负面影响降到最低”18。结合前文分析，本文认为，未来人工智能立法应当关注生成式人工智能沉迷问题，需要在立法中设置相应的防沉迷条款。（一）防沉迷对象扩张：由未成年人扩展到成年人生成式人工智能沉迷的法律规制不能忽视对成年人沉迷的预防，应当区分成年人与未成年人，要采取不同的规制沉迷手段。当下法律规范主要针对未成年人沉迷的防范与规制，立法者似乎认为，成年人具有完全民事行为能力，其自治空间应当受到最大程度的尊重，沉迷网络可视为成年人的自主选择，就如同选择“垃圾食品”，国家最多只能倡导健康饮食，而不可断然禁绝餐厅售卖合法商品。但实际上，生成式人工智能沉迷与选择垃圾食品不可相提并论。现代心理学表明，浏览社交媒体能刺激多巴胺甚至内啡肽分泌，有助于减轻压力、释放情绪。国际研究发现，网络成瘾与药物成瘾都会使上瘾者控制力降低、奖赏寻求增加、耐受性增强，具有戒断反应和精神以及躯体症状等临床反应；我国有学者发现网瘾患者内囊前枝、外囊等白质纤维束损伤的模式与毒品依赖患者非常类似，且左侧外囊损伤程度与患者网瘾严重程度显著相关。相比传统互联网，生成式人工智能提供的服务对人们的吸引力更强，其诱导沉迷的可能性更大。不仅未成年人，生成式人工智能的强大功能和便捷的服务同样吸引着成年人，即便是已经成年的大学生、参加工作的职场人士，在社会压力下同样可能将精神情感寄托于人工智能搭建的虚拟世界中，沉迷于生成式人工智能的算法推送，由此诱发沉迷风险。前文已述，生成式人工智能沉迷问题不仅是个人层面的问题，从整体层面来看，其涉及人类的思维能力、伦理道德、审美等深层次领域，与人的自由、主体地位等问题密切相关，而与沉迷主体是未成年人还是成年人关联性不强。因此成年人的沉迷问题同样不能忽视。根据马克思的异化理论，生成式人工智能对于未成年人和成年人的吸引力、沉迷机理不尽相同；未成年人与成年人在自控能力、心智成熟程度、辨别能力方面亦不可相提并论。因此，在具体防沉迷设计上，应当要求生成式人工智能提供者对未成年人与成年人进行区分，二者应区别对待。彭錞教授指出，网络成瘾更接近于毒品和赌博成瘾。参见彭錞：“算法防沉迷”义务首次写入我国法规，亦属世界首创，http：/ 2023年第1期。-124北京行政学院学报 2024年第1期法律 社会（二）防沉迷监管转变：由后果发生到义务的履行有关部门的监管应当重点关注生成式人工智能提供者是否履行了相关防沉迷义务，而非出现“用户沉迷于生成式人工智能”这一后果。根据 管理暂行办法 第10条规定，生成式人工智能提供者有义务采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务。“采取有效措施”意味着对沉迷结果的规制，其合理性有待商榷只要出现了沉迷于生成式人工智能的后果，都可以归责于生成人工智能提供者“没有采取有效措施”，该条为生成式人工智能提供者施加了过严的责任。这种责任模式并不合理，有关部门的监管应当重点关注生成式人工智能提供者是否履行了相关防沉迷义务。在利用生成式人工智能提供服务的领域，用户与生成式人工智能提供者总体上具有合作关系。虽然需要关注生成式人工智能的防沉迷设计，但全面和不加区分过度防范亦不可取，因为这会破坏蓬勃发展的信息经济，影响每个人的日常生活。因此必须在令人上瘾的和吸引人之间划清界限。不是所有提高用户粘性的算法都是诱导沉迷。然而，我们对此很难做出具体的划分，这是因为，与毒品成瘾已经形成了广为接受的测量标准不同，生成式人工智能成瘾缺乏相关的标准和方法。此时如果针对算法模型建立一套鉴定成瘾的办法，并且要政府部门对不符合该标准的生成式人工智能算法模型全部禁止，既不合理也不可行。对于生成式人工智能防沉迷限度控制的思路，应当转变为对生成式人工智能提供者防沉迷义务履行情况的监管。具体而言，政府部门应当对生成式人工智提供者是否设置了法律规定的防沉迷算法，以及该算法的运行情况等因素进行监管，并且要求生成式人工智能提供者从使用权限、内容限制、时间限制等因素进行事前评估。如果生成式人工智能提供者没有履行相关的防沉迷义务，网信办等有关部门可以对其进行行政处罚。此外，行业协会的管理规范可以为企业自律提供柔和的外在监督。目前我国已经成立了上海市人工智能行业协会、深圳市人工智能行业协会等，上述协会一定程度上可以监管生成式人工智能提供者防沉迷义务的履行情况。随着未来行业协会数量的进一步增加，其有助于进一步实现有关企业自律与政府强制监管之间的有效缓冲。如此形成了既依赖国家监管，又发挥企业自主管理、自我治理作用的“政府企业行业协会”协同参与防沉迷治理模式。该模式可以发挥政府管控与市场自治的优势，一定程度上可以避免政府管控力度把握不到位的问题，更有利于从专业角度发现生成式人工智能服务企业内部存在的诱导沉迷风险，为算法市场提供更多自治空间，弥补政府规制面临的执法能力有限等问题。因此，法律应当进一步明确生成式人工智能提供者的防沉迷义务、相关部门的监管义务，以及违反义务后的责任承担。（三）防沉迷领域扩展：由游戏及推送到其他服务当下生成式人工智能防沉迷领域主要集中于网络游戏以及算法推送服务领域，该防沉迷范围过窄，应当予以扩展。前文已述，生成式人工智能使用范围广阔，其可以提供便捷的服务以简化工作，还可以根据人们的指令生成成品，也可以根据用户的喜好推送其想看到的内容，甚至能提供“陪聊”等情感服务。尽管生成式人工智能提供的服务对人们具有较强吸引力，但这并不意味着生成式人工智能的使用、提供的服务均需要考虑防沉迷问题。对于娱乐性服务（比如短视频APP中的推荐服务、网络游戏等）当然需要考虑防沉迷问题，而对于生成式人工智能提供的便捷服务则不能一概而论。如果生成式人工智能的使用目的是替代人们思考、提供价值判断、生成艺术品，对生成式人工智能的长期依赖会导致人们思想自由的惰化、道德自由的僵化；从人类整体来看，长期的沉迷和依赖甚至会逐步消减人的主体地位，人工智能将取而代之。因此，当生成式人工智能的使用领域、服务范围涉及人的思维训练、道德相关的判断以及艺术品创作时，需要警惕沉迷问题。（四）防沉迷义务明确：由单一化到场景化的思路前文已述，生成式人工智能的使用、提供的服务并非都需要考虑沉迷问题，而是应当采取场景化的思路明确生成式人工智能提供者的防沉迷义务，根据不同服务的应用场景设置相应的防沉迷标准和措施。生成式人工智能的沉迷-125北京行政学院学报 2024年第1期法律 社会会导致人思维惰化，但并非所有类型的服务场景均容易导致思维惰化。比如一些文字校对、翻译、文字润色之类的工作通常不涉及理性思维问题，如果将这类工作交给生成式人工智能完成，可以把人们从繁琐费时的工作中解脱出来，人们得以获得更多的时间进行思考创新。因此，应提倡将生成式人工智能服务应用于这类工作中降低人们的工作量，无需担心对其过度依赖导致思维惰化。在涉及道德价值判断时，生成式人工智能应当谨慎回答甚至拒绝回答，并提醒用户自己不具备价值评价的能力，从而避免频繁价值输出，以至于潜移默化影响人们的道德判断。但即便如此也不应“一刀切”地设定统一的价值判断标准，而是应促进多元价值判断体系的生成。正如 关于加强科技伦理治理的意见 中提及“科技活动应尊重宗教信仰、文化传统等方面的差异”。再如，在艺术创作过程中，生成式人工智能则可以辅助完成一些机械性、重复性、逻辑性的工作，应当允许用户利用生成式人工智能进行润色优化，而对于直接生成艺术品的请求则应当加以限制。可见，以上三种情形采取“限制使用时长”的方式并不能很好地实现防沉迷目的，因为此时关注的重点应当是“限制使用/使用频次”而非使用时长。基于此，不宜只采取“限制使用时间”这一种防沉迷方式，应当根据生成式人工智能的具体使用场景采取诸如“限制使用频次”“禁止使用”“必要的提醒义务”等防沉迷手段。未成年人网络保护条例 第 43 条规定了“网络游戏在使用时段、时长、功能和内容等方面按照国家规定和标准提供服务”；第47条规定了“评估游戏产品的类型、内容与功能等要素，对游戏产品进行分类”，指出网络游戏服务提供者应当根据游戏类型等要素明确适合不同年龄段的未成年人。考虑到不同年龄段的未成年人的心智区别，其对网络游戏的认识程度以及抵抗网络游戏诱惑的能力有所不同，上述规定采取了网络游戏分级的防沉迷理念，有利于让未成年人根据自身的年龄和发展情况选择适合自身的游戏。就网络游戏防沉迷而言，以上规定根据未成年人的不同年龄段采取了产品类型化的规制思路，具有一定合理性。未来人工智能立法可以借鉴这种类型化思路模式明确生成式人工智能提供者的防沉迷义务。国家标准化管理委员会、中央网信办等部门联合印发了 国家新一代人工智能标准体系建设指南，那么在生成式人工智能防沉迷层面是否可以在使用场景化下构建一套防沉迷指标体系？本文认为该方案既不合理也不可行。第一，当下生成式人工智能的发展仍处于起步阶段，对生成式人工智能防沉迷规制不宜走得太远，应当采取“大胆展望、小心立法”的模式，促进科技发展与人文关怀的平衡。为此，对生成式人工智能提供者的防沉迷义务不宜过重。应当保持适当的开放性与模糊性，并且在实践中不断完善细化，在此基础上再完成相关指标的建构。显然，目前尚未达到这一阶段。第二，前文已述，不同于网络游戏沉迷，生成式人工智能沉迷的场景更为复杂，令人沉迷的原因也更加多样；加之目前生成式人工智能使用领域并未全面铺开，仍有相当一部分停留于理论设想层面。在生成式人工智能应用刚刚落地之时，再要求更为具体化、细致化的指标更是难上加难。因此，该方案的可行性还需进一步考证。此外，为了促进平等地位的维护，除了学者们广为提及的加强政府干预和监管、通过法律限制算法偏好、加强算法伦理性等措施外，生成式人工智能服务提供者应当有意识地采取措施弱化“信息茧房”效应，降低人们的过度依赖。生成式人工智能提供者需要在设置推送算法时适当拓宽用户视野，增加同各种信息接触的机科技部关于支持建设新一代人工智能示范应用场景的通知 首批支持建设十个示范应用场景。另外，也有学者对未来生成式人工智能的适用场景展开讨论。参见张熙，杨小汕，徐常胜：ChatGPT及生成式人工智能现状及未来发展方向，中国科学基金 2023年第5期。相关论述较多，这里做简要列举。参见张爱军，李圆：人工智能时代的算法权力：逻辑、风险及规制，河海大学学报（哲学社会科学版）2019年第6期；徐琳：人工智能推算技术中的平等权问题之探讨，法学评论 2019年第3期；匡文波：对个性化算法推荐技术的伦理反思，上海师范大学学报（哲学社会科学版）2021年第5期。-126北京行政学院学报 2024年第1期法律 社会会，注重多元化信息，均衡不同立场、地域、爱好、价值的观点态度；同时加入多样化的算法指标，通过信息物理方法、二次优化方法、社会化网络方法和时间感知方法来提高推荐系统信息推荐的多样性，从实际操作上对用户接收内容进行纠偏19。此外，还应当提高算法的可解释性，保障用户的知情权；通过设置防沉迷提醒提高用户对生成式人工智能系统的认知和信任，减少彼此之间的信息不对等。近年来可解释的人工智能（XAI）已经成为计算科学研究的前沿主题，一些大型算法公司已经将XAI用于实践，通过提供相关开源工具箱来帮助开发者和普通公众理解机器学习算法。该方法更偏向