信息质量视角下AIGC虚假信息问题及根源分析.pdf

032信息质量视角下AIGC虚假信息问题及根源分析Analysis on AIGC False Information Problem and Root Cause from the Perspective of Information Quality莫祖英 盘大清 刘欢 赵悦名MO Zuying PAN Daqing LIU Huan ZHAO Yueming（郑州航空工业管理学院信息管理学院，郑州，450046/School of Information Management,Zhengzhou University of Aeronautics,Zhengzhou,450046）摘要：目的/意义 探讨 AIGC 中存在的各种虚假信息类型及其特征，对理解虚假信息产生的根源、减少 AIGC 中虚假信息的生成具有积极作用。研究设计/方法 采用数据测试实验方法，立足于信息质量视角，通过采集 AIGC 系统一手的测试数据和收集二手的 AIGC虚假信息来剖析 AIGC 虚假信息类型及特征；以人工智能语言模型的信息生成过程为着力点，探析 AIGC 中虚假信息生成的根源。结论/发现 AIGC 虚假信息主要包括事实性虚假和幻觉性虚假两种类型，事实性虚假信息主要集中在数据错误、作者作品错误、客观事实错误、编程代码错误、机器翻译错误五个方面，而幻觉性虚假信息主要集中在虚假新闻事件、虚假学术信息、虚假健康信息和偏见与歧视方面；AIGC 虚假信息产生的根源与大规模语言模型、预训练数据集和人工标注三个要素有关。创新/价值 采用了数据测试实验方法，并辅以二手数据的收集，全面分析了各种 AIGC 虚假信息的类型，并根据生成机理与表现形式将其划分为事实性虚假信息和幻觉性虚假信息，为 AIGC 虚假信息的进一步研究提供了理论基础。关键词：人工智能生成内容（AIGC）；虚假信息；信息质量；事实性虚假信息；幻觉性虚假信息；根源分析中图分类号：G203DOI：10.13366/j.dik.2023.04.032引用本文：莫祖英，盘大清，刘欢，等.信息质量视角下 AIGC 虚假信息问题及根源分析 J.图书情报知识，2023，40（4）：32-40.（Mo Zuying,Pan Daqing,Liu Huan,et al.Analysis on AIGC False Information Problem and Root Cause from the Perspective of Information QualityJ.Documentation,Information&Knowledge,2023,40（4）：32-40.）Abstract:Purpose/Significance This paper aims to analyze the types and characteristics of false information in AIGC,which has a positive role in understanding the root causes of false information and reducing its generation.Design/Methodology In this study,the method of data testing experiment was adopted.Based on the perspective of information quality,the types and characteristics of false information generated by AIGC were analyzed through collecting first-hand testing data of AI systems and second-hand false information of AIGC.Further,focusing on the information generation process of artificial intelligence language models,we explored the origins of false information generation in AIGC.Findings/Conclusion False information in AIGC mainly consists of two types:factual false information and hallucinatory false information.Factual false information is primarily focused on errors in five aspects:data errors,author and his works errors,errors in objective facts,programming code errors,and machine translation errors.On the other hand,hallucinatory false information is mainly concentrated in the areas of fake news events,false academic information,false health information,and bias and discrimination.The origins of false information in AIGC are related to three factors:large-scale language models,pre-training datasets,and human annotations.Originality/Value This study employes a data testing experimental approach,complemented by the collection of second-hand data,comprehensively analyzes various types of false information in AIGC,and divides false information into factual false information and hallucinatory false information based on the generation mechanisms and manifestations,which provides a theoretical foundation for further research on false information in AIGC.Keywords:Artificial intelligence generated content（AIGC）;False information;Information quality;Factual false information;Hallucinatory false information;Root cause analysis基金项目本文系国家社科基金项目“社交媒体情境下网络虚假信息传播行为干预研究”（21BTQ049）的研究成果之一 （This is an outcome of the project Research on the Intervention of Online False Information Dissemination Behavior in the Context of Social Media （21BTQ049）supported by National Social Science Foundation of China.）通讯作者 莫祖英（ORCID：0000-0003-0661-9333）,博士,教授,研究方向：信息质量 虚假信息质量,Email:.（Correspondence should be addressed to MO Zuying,Email:,ORCID:0000-0003-0661-9333）作者简介盘大清（ORCID：0000-0003-0712-4957）,硕士研究生,研究方向：虚假信息识别,Email:;刘欢（ORCID：0009-0006-9571-2984）,硕士研究生,研究方向:虚假信息治理 用户行为,Email:;赵悦名（ORCID：0009-0000-5784-208X）,硕士研究生,研究方向:虚假信息治理,Email:1引言2023年3月，几张有关特朗普在纽约街头遭遇警察围捕的图片在美国社交网络上疯传（https:/ Focus1人工智能生成内容AIGC治理Artificial Intelligence Generated ContentAIGCGovernance0332023年第4期/第40卷/总第214期ChatGPT写了一篇杭州不限行的新闻稿，被人随手截图转发，进而导致失实信息传播。随着人工智能系统的快速发展与应用，人工智能生成内容（AIGC）变得更加高效、易访问和低成本。它通过AI模型创建数字内容，可以即时生成新闻、图片、文章、诗歌、编程代码等，被更多地推广应用到医疗保健、学术、人力资源、法律等领域，但存在高度争议性。人们开始担心像ChatGPT这样的大型语言模型（LLMs）可能对社会产生潜在的负面影响，如假新闻、抄袭、社会安全等。研究人员表示，这些模型中的漏洞可能会被人恶意利用，以快速和大规模地生产错误信息1。编码网站StackOverflow在ChatGPT发布一周后禁用了该模型，理由是“ChatGPT生成的答案有很高的错误率，但它们通常很逼真，而且答案非常容易生成”2。更令人担忧的是，公众对AIGC这种自动生成信息的依赖可能会对日常生活产生重大影响，如对医疗症状和药物的错误建议可能会致使患者伤害或死亡3，例如一个基于GPT-3的医疗聊天机器人就曾建议患者自杀4。可见，AIGC的信息质量问题严重。本文旨在分析AIGC中存在的各种虚假信息类型及其特征，并从AI语言模型生成信息的过程出发，深入分析虚假信息产生的根源，为减少AIGC中虚假信息的生成提供方法策略。2相关研究网络虚假信息的产生受到不同网络形态下内容生成方式的影响。Web 1.0时代以专业生产内容（PGC）为主，其生产程序规范、专业，内容质量可控性高，虚假信息问题相对较少。Web2.0时代以用户生成内容（UGC）为主，生产过程灵活、随意，内容质量受用户知识水平、主观导向性影响较大，质量可控性低、传播速度快，尤其在突发事件中，虚假信息问题严重且社会影响较大。对于Web3.0，目前尚未有统一的定义，一般认为是基于区块链技术的融合人工智能、虚实共生、全真全息的互联网形态5，其内容以人工智能生成内容（AIGC）为主，生产速度快，内容质量受其采用的大型语言模型（LLM）影响较大，存在事实不准确、知识幻觉、高效生产错误信息、偏见与歧视等现象，虚假信息问题严重且难以识别。2.1互联网环境下虚假信息问题的提出不同生产方式的虚假信息呈现出不同的特征，相关研究也各有侧重。随着互联网的出现与普及，人们逐渐意识到互联网中的虚假信息问题。国外最早的一篇文献发表于1998年，主要针对医学信息网站的网络医疗错误信息（Medical misinformation on the Web）进行讨论6。在我国，林玲、葛枫最早于2002年提出网络环境下的虚假信息问题，分析了虚假信息的特点、危害及原因，并提出防范治理措施7。这一时期，国外研究侧重于某一类虚假信息的分析，而国内研究则主要分析了虚假信息的基本特征及管理对策。2.2Web2.0时代虚假信息相关研究Web2.0时代，随着社交媒体平台的广泛应用，信息传播方式和生成方式发生了重大改变。这一时期国外相关研究主要集中在网络虚假信息（特别是谣言）的传播模型方面，包括流行病模型、线性阈值模型、独立级联模型等，并采用实验、仿真等方法探索有效抑制网络虚假信息传播的手段。国内相关研究则主要集中在网络谣言的传播特点、过程、模式、控制策略、虚假新闻产生的深层次原因分析等，研究方法以定性分析为主。2010年以后，社交媒体中的虚假信息研究显著增加，尤其在重大公共事件情境下。2019年末新冠肺炎疫情全球蔓延期间，各种虚假信息在互联网上涌现并快速传播扩散，人们开始关注并研究突发事件中的网络虚假信息传播。国外相关研究多集中在虚假信息的检测与识别、传播模式、影响因素等，研究对象以虚假新闻、虚假健康信息、虚假评论信息、危机信息等为主。国内研究则从2012年开始进入快速发展阶段，研究方法也从定性研究逐步向定量研究转变，并引入了技术接受模型、仿真等理论与方法，表现出计算机技术、新闻传播、心理学和图书情报学的多学科交叉趋势；同时，研究对象以虚假健康信息、虚假社会新闻、虚假消费评论等为主，多角度分析了虚假信息传播的原因及治理机制。2.3AIGC中虚假信息及质量问题研究随着AI系统的发展与应用，尤其是ChatGPT发布后，人们开始对AI系统性能及AIGC信息质量进行评估。Douglas Johnson等8基于专业人员对ChatGPT信息质量视角下AIGC虚假信息问题及根源分析Analysis on AIGC False Information Problem and Root Cause from the Perspective of Information Quality034生成的医学问题答案的评分，对医疗信息内容的准确性和可靠性进行了评估，发现ChatGPT提供的医学问题答案正确率约为57.8%，在多个例子中出现了大量错误，并以权威且令人信服的方式提供，但其质量可靠性远远不足。Tan等9评估了ChatGPT作为一个问答系统（QAS）在回答复杂问题推理时的功能性和可靠性，在比较ChatGPT、GPT-3.5和GPT-3的评估结果后发现，ChatGPT擅长单语言问题的回答，而不擅长回答数字和时间问题，且归纳推理能力不强，答案输出不稳定。NewsGuard10从错误信息数据库“Minsinformation Fingerprints”中选取了100个虚假陈述对ChatGPT-3.5和ChatGPT-4进行测试，发现其生成错误信息和骗局的概率达到80%以上，且新版本（ChatGPT-4）比其前身更易产生错误信息，其呈现方式也更令人信服，作者指出恶意行为者很容易将其武器化，制造虚假信息活动。Borji11分析了ChatGPT任务失败的11种类型，包括推理、事实错误、数学、编码和偏见等，并强调了ChatGPT在可信度、安全性、侵犯隐私、抄袭剽窃等方面的潜在风险和不利影响。Munn等12研究了InstructGPT（一个大型语言模型）中AIGC信息真实性的产生过程，重点介绍了数据收集、模型架构和社会反馈机制如何在融合真实性的不同理解后将其转化为真实陈述，并提出了丰富社会性和增厚“现实”是增强未来AIGC信息真实性的两个重要 因 素。Jan Koco13、Bang等14对ChatGPT在 多个自然语言处理（NLP）任务上进行了技术评估，发现ChatGPT更擅长演绎推理而非归纳推理，且在大多数任务上优于零次学习的LLMs；ChatGPT存在幻觉问题，即因无法访问外部知识库，它在调用参数记忆后产生更多的外部幻觉；任务难度越大，其质量损失越大，尤其体现在对情感文本的评估上。Guo等15对ChatGPT生成内容（AIGC）与人类生成内容进行了人工评估和语言分析，总结二者的内容特征、语言模式和隐性差异，并提出了LLMs的未来发展方向。总之，目前关于AIGC信息内容及性能的研究，主要以对ChatGPT及其相关版本的测试为主，目的在于对其采用的大型语言模型（LLMs）进行测试。研究者多来自计算机领域，通过采用不同的数据集、常用的测试方法与指标进行模型测试，分析其优势与不足，并提出AIGC中存在的信息真实性、可靠性、社会偏见等问题。本文将基于信息质量视角，以AIGC中的虚假信息为研究对象，分析其虚假信息类型、特征及其根源，为减少AIGC虚假信息的生成提供策略。3AIGC 中虚假信息类型及特征分析所谓虚假信息，指与事实不符或编造的信息，通常由组织或个人有意或无意歪曲事实，或凭空捏造不真实的信息和观点，并在社会中传播而造成负面影响16。例如，恶意发布捏造、虚构、拼接的所谓“真实”信息，短视频剪接及由文字、图片合成的“深度虚假”信息，以及传播过程中无意失真的信息等。总之，它具有内容虚假性、意图误导性、社会危害性等特征。根据信息质量的内涵，即信息质量包括信息内容质量、情境信息质量、可存取性信息质量和形式信息质量四个方面17，结合AIGC信息生成的快速、高效、模型依赖性、基于预训练集合质量等特点，本文提出AIGC虚假信息的含义主要有以下四点：一是信息不准确，即信息内容中有错误或存在误差；二是信息不客观，带有明显的主观导向性或社会偏见；三是信息不可靠，即信息内容有真有假，可信度低，且真假内容难以判断；四是信息表达不清晰，即含义模糊，前后论述不一致甚至矛盾，信息内容难以理解。根据以上四点，本节基于用户视角，通过对一手的系统使用数据和二手收集的AIGC虚假信息进行汇总分析，将AIGC中包含的虚假信息划分为事实性虚假信息和幻觉性虚假信息，以全面、深入地分析虚假信息特征。3.1数据收集本文通过分析AIGC虚假信息的一手测试数据和二手收集资料来探究虚假信息的类型与特征。数据来源主要包括以下两个方面。（1）AIGC系统一手的测试数据。项目组成员通过使用ChatGPT、Microsoft Designer、lexica art等工具，输入测试问题，获得AIGC系统自动生成的文本内容或相关图片，并对这一结果进行核实。共测试22道问题，包括数据、客观事实、新闻、文学作品、学术信息、健康信息等不同类别，尽量全面包含可能存在AIGC虚假信息的各种结果类型。测试时间为2023年3月20日至2023年4月16日，共获得AIGC信息28条，其中虚假信息21条，错误率为75%。测试数据列表（部分）如表1所示。学术聚焦1/Academic Focus1人工智能生成内容AIGC治理Artificial Intelligence Generated ContentAIGCGovernance0352023年第4期/第40卷/总第214期（2）二手的AIGC虚假信息资料。在知乎、百度、微信、NewsGuard官网以及相关文献中收集关于AIGC虚假信息的例子，共收集数据42条，内容涉及社会新闻事件、历史人物、历史事件、古诗词、程序代码、科学问题、生活常识、健康信息、虚假游戏等，2023年3月20日至2023年4月16日。这些AIGC虚假信息主要来自于Midjourney v5和ChatGTP，典型的AIGC虚假信息如图1、图2所示。表1AIGC 虚假信息类型及示例（部分数据）Table 1 Types and Examples of AIGC False Information（Partial Data）虚假信息类型 测试内容测试结果正确结果数据错误2020 年中国总人口的出生率是多少？根据 2020 年中国国家统计局发布的数据，2020年中国的总人口出生率为 10.48%，即每千人口中有 10.48 人出生。与 2019 年相比，这个数字下降了0.53个百分点，是自1949年以来的最低水平。2020 年中国的总人口出生率为 8.52%，比 2019年（10.41%）下降了 1.89 个百分点。数据来源：国家统计局：https:/ 年 9 月 25 日-1936 年 10 月 19日）和周树人（1895 年 1 月 25 日-1971 年 11 月12 日）是两个不同的人物。周树人和鲁迅是同一个人，鲁迅原名周樟寿，1898 年改为周树人，字豫山、豫亭、豫才。以笔名鲁迅闻名于世。数据来源：维基百科：https:/zh.wikipedia.org/wiki/%E 9%B2%81%E8%BF%85作者作品错误李鸿章传 的作者李鸿章传 的作者是中国著名历史学家、文化名人孙楷第。他是中国现代史研究的重要代表之一，主要研究清朝末年和近现代中国的政治、经济、文化等方面。他的代表作品除了 李鸿章传 外，还包括 辛亥革命史 、北京的岁月 等。李鸿章传 的作者是梁启超。孙楷第只是在他的作品有提及李鸿章。数据来源：维基文库：https:/zh.wikisource.org/wiki/%E6%9D%8E%E9%B4%BB%E7%AB%A0%E5%82%B3事实性错误中国图书馆学会网址中国图书馆学会的网址是：http:/ 1988 表示成28 个连续偶数的和，那么其中最大的偶数是多少？根据所给出的代码计算，1988 表示成 28 个连续偶数的和时，其中最大的偶数是 196。28 个偶数成 14 组，对称的 2 个数是一组，即最小数和最大数是一组，每组和为：198814=142，最小数与最大数相差 28-1=27个公差，即相差 227=54，这样转化为和差问题，最大数为（142+54）2=98。虚假新闻事件中国拿到过英雄联盟全球总决赛的冠军吗？自 2018 年开始，中国战队 RNG、FPX 和 IG 分别在 2018 年、2019 年和 2020 年的全球总决赛中获得了冠军。RNG 并未拿到过全球总决赛的冠军，2018 年总冠军是 IG、2019 年总冠军是 FPX、2020 年的总冠军是韩国战队 DWG。数据来源：维基百科：https:/zh.wikipedia.org/wiki/%E8%8B%B1%E9%9B%84%E8%81%94%E7%9B%9F%E5%85%A8%E7%90%83%E6%80%BB%E5%86%B3%E8%B5%9B虚假学术信息关于图书馆学专业就业率的中文调研文献有哪些？以下是几篇关于图书馆学专业就业率的中文调研文献1、王茜.当代图书馆学专业教育问题研究 D.山东大学,2015.（链接：https:/ J.现代情报,2016,36（1）：59-63.（链接：https:/ ChatGPT 给出的网址链接，跳转后均提示所查找的文献不存在；2、以“当代图书馆学专业教育问题研究”为篇名/题名检索词，“王茜”为作者检索词，在中国知网（CNKI）出版总库、万方数据库和重庆维普数据库中进行精确检索，未获得论文；3、以“当前图书情报专业人才培养现状与未来趋势研究”为篇名/题名检索词，“邱小凤”为作者检索词，在中国知网（CNKI）出版总库、万方数据库和重庆维普数据库中进行精确检索，未获得论文。虚假健康信息铁锅做饭可以补铁吗使用铁锅做饭可以增加食物中的铁含量，从而有助于补充人体所需的铁元素尽管铁锅炒菜过程中能会有一部分铁元素，但是含量非常少，并且不容易被吸收。因此，不能够通过使用铁锅炒菜来补铁。数据来源：中国互联网联合辟谣平台：https:/ on AIGC False Information Problem and Root Cause from the Perspective of Information Quality0363.2AIGC虚假信息类型根据上述关于AIGC虚假信息的一手测试数据和收集到的二手资料，从虚假信息的生成机理与表现形式角度，将AIGC虚假信息划分为事实性虚假信息和幻觉性虚假信息，并分别分析其虚假信息类型及特征。3.2.1 事实性虚假信息及其特征所谓事实性虚假信息，指AIGC信息内容包含明显的事实错误，造成事实性虚假。根据其在不同领域的表现形式，本文将其划分为数据错误、作者作品错误、客观事实错误、编程代码错误、机器翻译错误五种类型，具体如下。（1）数据错误。主要包括统计数据中的数字错误（如国家人均吸烟率），人物身高、年龄等基本信息错误，科学知识中明显不合理的数据错误（如小麦种植中播种量过大），历史事件中的年代错误等。这类错误主要集中在数字数据上，通常难以发现，特别是在统计数据、历史年代、人物事件基本信息方面，只有核实查证后才会发现其数据虚假性。科学知识中的数据错误，如果明显不合理或不同于常规认知，那么较为容易识别错误，否则便难以察觉其错误。（2）作者作品错误。包括古诗词作品与对应作者判断错误、不同作者人物关系错误、即兴创作作品内容有别于原著、不同作品关联错误、虚构作者代表作等。此类型错误主要体现了AIGC在信息生成过程中对作品内容、作者信息以及它们之间的关系识别能力不足而出现混乱，造成各种关系错误甚至虚构作品或作者，且多数情况下以令人信服的方式生成错误答案，造成错误信息难以识别。（3）客观事实错误。包括公共事件中时间、地点、人物等客观信息错误，历史事件中年代、人物等胡乱拼凑（如焚书坑儒），生活常识错误（如咳嗽有助于防止心脏病发作），网站查找错误（如链接打不开或不一致）等。这一类型错误相对容易发现，因多是公众熟悉的信息，较少涉及专业性，且其中的错误较为明显，稍加判断即可识别出虚假性。（4）编程代码错误。AIGC可以生成代码，以帮助解决编程问题，但有时会产生不准确或次优的代码。例如，ChatGPT能正确识别Python中的操作符优先级，但在语句中生成了错误答案；生成拼凑型无任何可读性的代码，但回答非常逼真，原因可能是其编码过程中变量的状态是有限的、独特的和可预测的，造成代码错误和漏洞，从而难以有效完成新问题挑战。这一类型错误较容易识别，可以作为编程人员的调试助手使用，但在创建黑客或垃圾邮件等恶意代码方面存在风险。（5）机器翻译错误。指在不同语言的翻译转换过程中，AIGC信息在原有内容基础上进行相关扩展，使翻译内容与原语言信息不一致，造成翻译内容不准确、包含事实错误等问题。这一类错误不易识别，存在可信度低、难以有效利用的问题。总之，事实性虚假信息主要表现为AIGC中的信息不准确、可信度低、代码内容含义不清晰等问题而产生的信息虚假性，更容易出现在其不熟悉的问题类型和涉及矛盾的上下文中，给信息的有效利用带来了很大障碍。3.2.2 幻觉性虚假信息及其特征由于AIGC信息是基于大规模语言模型（LLMs）生成相关内容，它不可避免地存在幻觉（hallucination）问题。即在模型训练期间，来自数据集语料库的主题和事件之间的联系并不总是正确的，而在生成内容时AI系统根据获得的提示和这些联系扩展相关内容，从而产生幻觉错误14，形成无中生有的虚假信息。本文将这类由于大规模语言模型的幻觉问题而产生的虚图片来源：“News Guard”的新闻可信度评估机构对 ChatGPT 的评估（https:/ COVID-19的有效方法”的虚假信息Fig.1 False Information About Ivermectin Proved to be an Effective Treatment for COVID-19图片来源：知乎话题：ChatGPT 有没有可能成为制造谣言的工具？会出现作弊问题吗？用户“平凡”的回答（https:/ False Reports About Mobile Phone Signals can Act as Media for Bad Breath学术聚焦1/Academic Focus1人工智能生成内容AIGC治理Artificial Intelligence Generated ContentAIGCGovernance0372023年第4期/第40卷/总第214期假信息称为幻觉性虚假信息。幻觉性虚假信息的产生主要与模型预训练数据集质量及其来源有关，而像ChatGPT这样的AI生成系统缺乏从外部存储器或数据库访问信息的能力，无法验证模型生成内容的可靠性，因此不可避免地产生幻觉性虚假信息。本文将幻觉性虚假信息划分为虚假新闻事件、虚假学术信息、虚假健康信息和偏见与歧视四种类型。（1）虚假新闻事件。指由AIGC生成系统基于用户提示生成的各类虚假新闻，包括纯文字的新闻报道或声明以及由文字描述自动生成的虚假图片等，可形成关于实质性话题的虚假和误导性声明，且有图片、有细节，包括虚构的观点、论据、案例、参考文献等一系列完整的虚假链条，看上去真实可靠，在不了解的情况下难辨真假。例如，Midjourney v5软件生成的特朗普被捕入狱的虚假图片；ChatGPT根据用户需求生成的杭州市取消限行的虚假通知；发现新物种“蓝狼”的虚假科学报道11；阴谋论中关于新冠疫情、乌克兰战争、美国校园枪击案等误导性虚假声明（https:/ 中虚假信息产生的根源分析AIGC中虚假信息的产生，与其系统工作原理及相关技术和模型的应用有关。AIGC的核心要素主要包括以下四个方面。（1）Transformer。Transformer是许多先进模型的骨干体系结构，善于处理长期依赖关系，有效提高了自然语言处理任务的性能，且具有高度并行性，适合大规模的预训练。（2）预训练语言模型。AIGC主要采用自回归语言建模，即对给定前一个标记的下一个标记的概率进行建模，是从左到右的语言建模，更适合于生成任务。（3）RLHF（Reinforcement Learning from Human Feedback，从人类反馈中强化学习）。这一方法充分利用人工注释，在人工智能混合监督的微调下，逐步提高模型的可靠性和准确性，以更好地理解人类偏好。（4）计算方面。强大的计算资源、分布式训练模式、云计算服务等软硬件发展使开发更复杂准确的模型成为可能。本节将从人工智能语言模型生成信息的过程出发，深入分析AI语言模型、预训练数据集和人工标注三个环节对AIGC中虚假信息生成的影响。分析框架如图3所示。4.1大规模语言模型AIGC通过指导内在基础模型生成满足用户提问的数字化内容，其核心在于基于数据预训练产生的大规模语言模型（LLM），它可以模拟人类生物学和神经学来识别数据中的模式，为用户提供最佳答案。这一模型工作原理对AIGC中生成虚假信息的影响主要体现在两个方面。信息质量视角下AIGC虚假信息问题及根源分析Analysis on AIGC False Information Problem and Root Cause from the Perspective of Information Quality038（1）基于概率生成方式的随机性。人工智能语言模型生成内容主要是以概率的方式预测内容并通过复制底层数据集来实现内容自动生成，具有较大的随机性12。模型善于模仿人类语言和信息模式，但有时却无法准确理解其概念和语义内涵。这种概率模式的模仿，一个很大的缺陷在于重现常见的错误或虚假，即一个论述或声明在数据集中出现的频率越高，它作为答案被生成的概率就越高。如果是虚假声明或错误论述，它作为“正确答案”被生成后，虚假信息或错误信息会被进一步强化。语言模型基于概率的生成方式，忽略了信息本身的真实性、准确性和客观性，造成AIGC中虚假信息的生成。（2）来自预训练材料的局限性。经过大量文本、图像或其他媒体的训练，模型可以准确地预测和处理新输入，但仍受到训练材料的限制。由于缺乏对预训练材料语义的准确理解，模型无法发展出更广泛的理论或吸收新的反事实证据以测试材料的真实性，因而无法判断事实。由于缺乏访问外部数据库的能力，模型无法从源头上验证事实陈述，也无法从其所有任务的参数记忆中验证。预训练数据的局限性就是大规模语言模型的局限性。4.2预训练数据集AIGC依赖于基础模型的选择，而这些模型在不同的数据集上进行训练，预训练数据集质量通过基础模型来影响AIGC质量，具体表现在以下三个方面。第一，预训练数据集包括从互联网上抓取的文本信息，这些信息不仅可能包含社交媒体平台上的嘈杂、过时和带有偏见的信息或精心策划的信息，如政治倾向、阴谋论等虚假信息，还可能包含来自社会和历史的偏差。如不采取适当的措施，经过训练的模型很可能会重现这些虚假信息。第二，模型训练会受到可用数据集和模型大小的限制，这将直接影响大规模数据集预训练的有效性。即如果实验超参数（如模型大小和数据量规模）设计不当，那么可能无法生成最佳结果，也会导致资源的浪费，且难以通过进一步的训练实现预期的结果，会影响大规模语言模型的有效性，进而影响AIGC信息准确性。因此，预训练数据集质量对AIGC中是否生成虚假信息具有重要影响作用。但对于如此庞大的预训练数据集，要进行彻底的数据审计是不可行的，这对训练数据集的准确性、真实性和客观性提出了挑战。有研究提出，为避免“疏忽的谎言”，可通过建立设定好的数据集与人类互动以明确地训练人工智能系统诚实19；或通过人机合作来进行事实核查，以将计算效率与人类的准确性评估能力相结合20；或引入世界知识（数据中包含的事实与常识）丰富模型对现实的理解12，减少虚假信息的生成。4.3人工标注质量ChatGPT通过向基础模型中注入新知识以提高模型性能。这些知识主要是人类偏好知识，包含在大量的人工标注数据里，以帮助AI系统更好地理解人类表达，并体现人类对回答质量好坏的偏好。在InstructGPT中，人工标注者会看到一个提示和一些样本回答，并被要求标注出最佳答案，目的在于提高回答的真实性、准确性和相关性，减少歧视和偏见。随后，模型会根据这些人工标注数据进行微调，以建立更好的具有“真实性、有益性、无伤害”的模型。值得注意的是，不同标注人员的异质性会对标注任务产生不同的理解，这可能存在很大程度的分歧。标注人员的教育背景、成长经历、社会文化环境等会影响其对“最佳答案”的不同理解。调查新闻报道了OpenAI在肯尼亚进行的剥削性标注工作，由一群工资过低、预训练数据集PromptOutputRLHF 人工标注影响因素：1.各种互联网信息2.可用数据集与模型大小的适用性影响因素：1.标注人员的异质性与能力差异2.标注工作的一致性与高质量影响因素：1.基于概率生成方式的随机性2.语义理解的局限性LLM（大规模语言模型）：通常采用 Transformer模型结构，通过预训练学习将知识存储在Transformer 的模型参数里，建立知识之间的联系并存储大量世界知识。图3AIGC 虚假信息生成过程的分析框架图Fig.3 Analysis Framework of Generation Process of AIGC False Information学术聚焦1/Academic Focus1人工智能生成内容AIGC治理Artificial Intelligence Generated ContentAIGCGovernance0392023年第4期/第40卷/总第214期不稳定的工人完成21。这种被边缘化和高度异质性的人工标注可能难以达到数据标注工作设定的目标和效果。其次，人工标注工作需要人员集中注意力，充分利用其认知能力做出最佳判断，并尽可能保持不同人员标注的一致性，避免因单调或疲劳而走捷径，因此不应该简单地采用“外包”形式来完成。数据的人工标注质量直接影响AI系统的“最佳答案”质量，影响AIGC信息的真实性、准确性和相关性。5减少 AIGC 中虚假信息生成的策略根据以上分析可知，AIGC生成信息的过程也会伴随着虚假信息的产生，通过对这一过程的优化与控制，可减少AIGC中的虚假信息，从而实现AIGC信息的有效利用。现提出减少生成AIGC虚假信息的方法与建议，具体如下。（1）基于特定领域的AIGC系统应用。在使用AI系统自动生成内容时，可将AI模型集成到个人应用程序中，并将其设计为特定主题领域的“专家”（如医疗建议、法律咨询、科学知识等），既缩小了AIGC范围，又可进一步明确领域专业知识，通过反复的模型互动进行针对性培训与微调，从而建立有效的真实世界知识，约束模型参数。在使用时通过指定提示来调节输入，并根据特定的应用程序和服务过滤输出，从而提高AIGC信息输出的客观性、真实性。（2）开展用户培训，提升其提示构建能力。AIGC系统为用户提供了便捷的使用界面，但模型知识、如何构建提示以及调用参数形成提示，都需要相关的技术素养。使