大型语言模型行业图谱.pdf

研究报告 （2024 年第 3 期 总第 35 期）2024 年 01 月 26 日 大型语言模型行业图谱大型语言模型行业图谱1 1 科创金融研究中心 朱雅姝 刘碧波 【摘要】【摘要】行业图谱研究是本中心科技成果转化研究的一项子课题，目标定位于清晰理解前沿科技成果的技术核心、科创企业的技术竞争力及科研工作者的研究进度，从而助力科技成果转化效率的提升。行业图谱研究将以系列形式展开，选取国家战略重点科技领域的商业应用场景逐一进行，时效性较强。本报告为行业图谱研究之计算机科学系列中的课题：大型语言模型（含 ChatGPT）行业图谱。ChatGPT 的成功引发了全球对大型人工智能模型的浓厚兴趣，加速了学术界和商业界的发展。自2017年起，美国在战略层面高度重视人工智能，将其应用于经济、文化和社会福 1 感谢资本市场与公司金融研究中心的实习生许喜远同学对本报告的助研工作。许喜远同学是清华大学医学院2022 级博士。祉等众多领域。到 2023 年，中国也迅速跟进，采用自主研发的技术平台取得领先地位，显示出 ChatGPT及相关技术已成为未来国家战略支持的重点。ChatGPT 的发展可分为五个研究阶段，从初期的专家系统演变为基于深度学习和大数据的方法。核心变革之一是 GPT-3 模型，它凭借大规模参数和创新的“提示语”概念，显著提升了理解和生成自然语言的能力，并在情感分析、机器翻译等多个领域得到应用。技术上，ChatGPT 利用基于 GPT-3.5 的人类反馈强化学习，实现了语言生成能力的显著提升，增强了模型对新指令的适应性，超越了仅依赖于参数量增加的限制。成功的关键因素包括 OpenAI 的战略转型、技术突破、巨额资金投入、强大算力支持以及顶尖团队，共同构成了 ChatGPT的成功基础。ChatGPT 以其基于 GPT-3.5 的先进技术，在准确性、多任务处理和泛化能力上占据市场优势，但面临着时效性不足、高成本和专业领域局限性的挑战。与此同时，国际竞争对手如 Google 和 Meta在技术研发及商业应用上保持领先地位。战略上，ChatGPT 通过 API和订阅模式获得了市场先机，而 Google 和百度更专注于 B 端市场。在中国，国内的通用大型语言模型正处于发展阶段，公司如百度和华为正在追赶国际趋势，但在数据、算力和工程化实施方面面临挑战。语言大型模型的国际研发现状呈现明显的区域差异。在国际领域，以爱丁堡大学的 Geoffrey Hinton、布尔诺理工大学的 Tomas Mikolov、斯坦福大学的 Chris Manning 和 Quoc Le、以及多伦多大学的 Ilya Sutskever 等人为代表，他们开发的技术位于行业前沿，具有重大的创新性。而在国内，清华大学计算机系的唐杰教授、自然语言处理与社 会人文计算实验室的孙茂松、交互式人工智能课题组的朱小燕教授、智能产业研究院的张亚勤以及复旦大学的邱锡鹏教授团队、哈尔滨工业大学的王晓龙教授等，作为国内在语言大模型研发方面的顶尖技术代表，他们在自然语言处理 AI 的底层技术研究领域也取得了新的突破。大型语言模型改变了数字产业的人机交互方式，提升了软件的用户友好性和功能性。它们在降低企业应用构建成本、推动新生态平台发展方面扮演关键角色，并在对话式 AI 领域显著提升了产品的智能和感知能力。这些模型还促进了多行业的功能升级和生态整合。ChatGPT 及类似大型 AI 模型在全球科技界的崛起，尽管其带来了商业与创新价值，却也引发了众多安全与伦理问题，如对人类角色的替代、数据偏见和隐私泄露等，导致业界和科研人员对 AI 发展提出质疑和暂停的呼声。为此，采用了如基于人类反馈的强化学习和监管框架等手段减轻这些风险。通用人工智能（Artificial General Intelligence，AGI）技术如 GPT-4 不仅提高了生产力和经济增长，还可能改变人类的思维模式和文化传统，推动相关学科发展。通过本报告，我们旨在为 ChatGPT技术和产业的发展提供参考和引导，共同推动产业合作，促进行业健康快速发展。目录 一、ChatGPT 的技术研发基础.4（一）自然语言处理的发展历史.4（二）大规模预训练语言模型的技术发展.7 二、OpenAI ChatGPT 技术发展历程.8（一）ChatGPT：生成式 AI 里程碑.8（二）ChatGPT 核心技术：人类反馈强化学习.9（三）OpenAI ChatGPT 成功要素分析.11 三、国内外主要大语言模型技术对比.12（一）ChatGPT 的优势.12（二）ChatGPT 的劣势.14（三）中国自研通用基础大语言模型.16（四）国内外语言大模型对比.21（五）语言大模型研发技术国内外主要研究机构及代表性成果.24（六）大模型训练：领先公司硬件资源全面对比.26（七）国内外主要大语言模型研发路径与技术对比.27（八）国内外主要大语言模型厂商商业路径对比.28 四、大语言模型落地应用对数字产业影响.29（一）通用搜索引擎新布局.31（二）基础办公软件革新.32（三）对话式 AI 接入“高知、高情商大脑”.33（四）企业服务与垂直领域应用.34（五）ChatGPT Plugins 触发生态建设开关.35 五、ChatGPT 带来的风险与挑战.36 六、全球人工智能时代来临：个体能力与社会文化的新格局.37 七、专业术语解析.39 参考文献.41 图表目录 图 1-1 大规模预训练语言模型发展历程及重要概念.7 图 2-1 生成式 AI发展历程与 ChatGPT 的突出能力.9 图 2-2 ChatGPT 能力实现解析.10 图 2-3 资金投入与发展策略为 ChatGPT成功带来至关重要的影响.11 图 3-1 通用基础大语言模型的价值与自研卡点.17 图 3-2 中国大语言模型产业价值链.19 图 3-3 国内外主要大语言模型研发路径与技术对比.27 图 3-4 国内外主要大语言模型厂商商业路径对比.28 图 4-1 大语言模型将改变数字产业生态.29 图 4-2 搜索引擎与大语言模型结合情况.30 图 4-3 ChatGPT 应用于基础办公软件.32 图 4-4 大语言模型与对话式 AI结合.33 图 4-5 大语言模型应用于企业服务及垂直领域.34 图 4-6 ChatGPT 通过 Plugins构建超级应用生态.35 表 1-1 知识表示和调用方式的演进.5 表 3-1 ChatGPT 存在不足的示例.15 表 3-2 大规模文本预训练模型对比表.21 表 3-3 代码预训练模型对比表.23 表 3-4 语言大模型研发技术国内外主要研究机构及代表性成果.24 1 2022 年 11 月 30 日，OpenAI 公司推出了一款全新的对话式通用人 工 智 能 工 具 ChatGPT（GPT，Generative Pretrained Transformer）。据报道，仅在几天之内，该工具的注册用户就已经超过了 100万人，两个月的活跃用户数更是达到了 1亿人。这一惊人的成绩引发了全网的热议，成为历史上增长最快的消费者应用程序之一，引发了人们对于未来哪些工作会因此消失的讨论，并引领了人工智能领域新的技术浪潮。ChatGPT 之所以有这么多活跃用户，是因为它通过学习和理解人类语言，以对话的形式与人类进行交流，其交互方式更加自然和准确，大大改变了人们对于聊天机器人的印象，从“人工智障”到“有趣”的印象转变。此外，ChatGPT 还能够根据用户的需求进行机器翻译、文案撰写、代码撰写等工作。ChatGPT 的成功推出引起了大模型构建领域的关注，学术界和企业界纷纷跟进，启动研制自己的大模型。在 OpenAI 推出 ChatGPT之后，微软也快速推出了基于 ChatGPT 技术的新产品 Bing，并计划将 ChatGPT 集成到 Office 办公套件中。谷歌也迅速推出了类似的Bard 以与之抗衡。此外，国内的百度、阿里巴巴、华为、腾讯、网易、京东等企业也都表示正在进行类 ChatGPT模型的研发。ChatGPT 引起了国家战略层面的关注。美国在人工智能（Artificial Intelligence，AI）领域有着明确和综合的战略方针，涵盖了经济、国防和社会福祉等多个方面。在美国，多个政府机构已推出关键政策倡议，以加速人工智能的研究与发展。国家科学与技术 2 委员会（National Science and Technology Council，NSTC）于 2016年推出了全国人工智能研究与发展战略计划，为联邦人工智能研发工作奠定了基础。这一努力在 2019 年得到了扩展，当时白宫发表了行政命令，要求联邦机构优先考虑人工智能投资。从立法方面来看，美国国会于 2020 年通过了全国人工智能倡议法案，以通过人工智能加强经济和国家安全，此外还有 2017 年的人工智能未来法案，旨在设立一个有关人工智能的联邦咨询委员会。至 2020 年，国家科学基金会（National Science Foundation，NSF）也做出了重要的财务承诺，特别是拨款 1.4 亿美元用于五年内建立五个新的人工智能研究院。然而，随着 AI 技术的不断发展，不排除将来某些先进模型或算法被纳入为战略资源。这样的决策会受到多种因素影响，包括但不限于该技术的成熟度、其在关键应用（如国防、健康或信息安全）中的表现、以及与国家利益和全球政治环境的相互作用。我国 2023年 2月 24日，科技部部长王志刚表示：“ChatGPT在自然语言理解、自然语言处理等方面有进步的地方，同时在算法、数据、算力上进行了有效结合。”科技部高新技术司司长陈家昌在回应 ChatGPT 相关提问时也表示，ChatGPT 最近形成了一种现象级的应用，表现出很高的人机交互水平，表现出自然语言的大模型已经具备了面向通用人工智能的一些特征，在众多行业领域有着广泛的应用潜力。这也标志着 ChatGPT 相关技术有可能会成为国家战略支持的重点。3 从技术创新角度，ChatGPT 是一个聚焦于对话生成的大语言模型，能够根据用户的文本描述和历史对话产生相应的智能回复。GPT 通过学习大量网络已有文本数据（例如 Wikipedia、Reddit 对话）获得了像人类一样流畅对话的能力，尽管有时生成的回复并不符合人类预期。ChatGPT 的成功推出和迅速发展，是人工智能领域技术和应用的一大进步，为未来智能化和人机交互提供了更为广泛和深入的应用空间。同时，ChatGPT 所涉及的技术和应用也呈现出多样性和复杂性，需要技术和商业界的共同探索和开发，以实现更好的技术创新和商业价值。本报告首先回顾了自然语言处理的发展历史以及大规模预训练语言模型的技术发展历程，接着详细分析了 ChatGPT 的技术发展历程、相关技术、未来技术发展方向，然后探讨了 ChatGPT 的优势与劣势、应用前景以及带来的风险与挑战，最后对未来自然语言发展的方向提出了见解。4 一、一、ChatGPT ChatGPT 的技术研发基础的技术研发基础 ChatGPT，即聊天式生成预训练语言模型，是由 OpenAI 开发的一种基于大规模预训练生成式语言模型的人工智能（Artificial Intelligence，AI）系统。它借鉴了生成预训练 Transformer 模型（Generative Pre-trained Transformer，GPT）系列模型的技术1，旨在理解和生成自然语言，提供与人类相似的对话体验。自然语言处理（Natural Language Processing，NLP）是计算机科学和人工智能领域的一个关键子领域，主要研究如何让计算机理解和生成人类语言。在过去的几十年中，NLP 技术经历了从基于规则的方法到统计学习方法再到深度学习方法的转变。近年来，随着深度学习技术的发展，尤其是预训练语言模型（如 GPT 系列）的出现，NLP 领域取得了显著进展。（一）自然语言处理的发展历史（一）自然语言处理的发展历史 自然语言处理是一门涉及计算机科学、人工智能、语言学等多个领域的交叉学科。从其历史发展来看，自然语言处理经历了多次重要的研究范式转变。早期的自然语言处理方法是基于小规模专家知识的，这些方法需要手动设计规则和知识库来解决自然语言歧义性和抽象性等问题，但这种方法难以处理大规模数据和复杂任务。后来，基于机器学习的方法开始兴起，使得计算机可以通过学习样本数据来进行自然语言处理，这种方法在一些特定任务上表现良好，但在处理复杂任务时，需要大量的训练数据和特征工程，难以取得更好的效果。随着深度学习的兴起，基于深度神经网络的自然语言 5 处理方法开始流行，这些方法通过多层神经网络进行特征提取和语义表示，可以处理大规模数据和复杂任务，但需要更多的计算资源和标注数据。最近，基于大规模预训练语言模型的自然语言处理方法成为研究热点，这种方法可以通过大规模语料库的预训练来学习通用的语言表示和知识表示，从而可以用较少的标注数据解决多个任务，并取得了较好的效果。表表 1-1 知识表示和调用方式的演进知识表示和调用方式的演进 知识表知识表示方式示方式 表示方式表示方式的精确度的精确度 知识调用知识调用方式方式 调用方式调用方式的自然度的自然度 研究领域研究领域 代表应用代表应用 代表公司代表公司 结构化知识库 高 机器语言 低 数据库 企业管理系统 Oracle 关键词搜索 中 关键词搜索 中 互联网 搜索引擎 Google 大规模预训练语言模型 高 自然语言 高 自然语言处理 聊天机器人、智能问答系统 OpenAI、Microsoft、百度等 自然语言处理的研究始于 20世纪 50年代（如表 1-1所示），早期研究主要集中在语言理解和语言生成两个方面。语言理解主要是将自然语言转换为计算机可处理的形式，例如将句子分词、词性标注、句法分析等；语言生成则是将计算机处理结果转换为自然语言，例如生成自然语言回答、摘要等。早期的自然语言处理方法主要是基于规则和专家知识的，如语法规则、词典和逻辑规则等，这些方法局限于小规模任务，而随着数据量和任务复杂度的不断增加，基于规则的方法逐渐失去了优势。6 随着机器学习和深度学习的发展，自然语言处理研究进入了新的阶段。机器学习机器学习方法的兴起为自然语言处理带来了新的思路，使得计算机可以从数据中自动学习语言知识和规律从数据中自动学习语言知识和规律。深度学习的兴起更是为自然语言处理带来了巨大的变革，通过神经网络的特征提取和语义表示，深度学习方法可以有效地处理自然语言歧义性和抽象深度学习方法可以有效地处理自然语言歧义性和抽象性等问题性等问题，取得了很好的效果。近年来，随着大规模预训练语言模型的兴起，自然语言处理的研究进入了新的阶段。基于大规模预训练语言模型的自然语言处理方法，如 BERT（Bidirectional Encoder Representations from Transformers）、GPT 等，通过预训练模型来学习通用的语言表示和知识表示，可以用较少的标注数据解决多个任务，并取得了极好的效果。这种方法的出现，使得自然语言处理能够处理更多的语言任务和应用，如机器翻译、问答系统、文本分类、情感分析等2。在自然语言处理的发展过程中，还涌现了很多重要的技术和算法，如词嵌入、文本向量化、注意力机制、序列模型等。这些技术和算法为自然语言处理提供了重要的基础和支撑，使得自然语言处理能够不断进步和发展。目前，自然语言处理在人工智能领域扮演着越来越重要的角色，也是人工智能应用的重要组成部分。自然语言处理的应用领域非常广泛，如搜索引擎、智能客服、语音识别、机器翻译、情感分析、智能写作等。尤其是在聊天机器人、智能问答系统等人机对话领域，自然语言处理技术的发展对于提高机器理解和表达能力，使得机器与人之间的对话更加自然流畅，具有重要 7 的意义。随着自然语言处理技术的不断发展和应用，它将在更多的领域和行业产生重要影响。图图 1-1 大规模预训练语言模型发展历程及重要概念大规模预训练语言模型发展历程及重要概念 （二）大规模预训练语言模型的技术发展（二）大规模预训练语言模型的技术发展 大规模预训练语言模型（大模型）是 ChatGPT 的基础，它是一种关键的技术，能够提高系统的性能。图 1-1简要介绍了大模型的发展历程。在 2018 年，OpenAI 提出了第一代 GPT 模型，开创了自然语言处理领域的“预训练”时代。然而，GPT 模型并没有引起太大的关注，反倒是 Google 提出的 BERT 模型更为受欢迎。尽管如此，OpenAI继续沿用第一代 GPT模型的技术路线，陆续发布了 GPT-2和GPT-3模型3。GPT-3 模型尤其引人注目，它拥有 1,750 亿个参数，同时提出了“提示语”（Prompt）的概念。只要提供具体任务的提示语，即使不对模型进行调整，它也能够完成该任务。例如，输入“我太喜欢 8 ChatGPT了，这句话的情感是_”，GPT-3就能够输出结果“褒义”。如果在输入中再提供一个或多个示例，那么任务完成的效果会更好，这也被称为“语境学习”（In-context Learning）4。更详细的技术细节可以参考相关的综述文章。但是，通过对 GPT-3 模型能力的仔细评估，发现大模型并不能真正克服深度学习模型鲁棒性差、可解释性弱、推理能力缺失的问题，在深层次语义理解和生成上与人类认知水平还相去甚远。直到ChatGPT的问世，才彻底改变了人们对于大模型的认知。二、二、OpenAI OpenAI ChatGPT ChatGPT 技术发展历程技术发展历程 （一）（一）ChatGPTChatGPT：生成式：生成式 AIAI 里程碑里程碑 相较于先前的生成式对话解决方案，ChatGPT（Chat Generative Pre-trained Transformer）在连续对话范围、内容生成质量、语义识别及逻辑推断方面均表现出显著优越性，超越了市场对聊天机器人的常规预期，成为生成式人工智能（AI Generated Content，AIGC）的关键里程碑（如图 2-1所示）。该模型为一种生成式预训练大语言模型，其中，“Chat”表征其交互性功能，“Generative”则突显其生成式算法特性。值得注意的是，生成式算法多年来受限于循环神经网络（Recurrent Neural Network，RNN）的固有不足，直至 2017 年 Transformer 架构的诞生解决了这一瓶颈，使得生成式 AI在预训练的 Transformer框架下获得 9 了显著发展。该模型不仅催生了自然语言处理（Natural Language Processing，NLP）、计算机视觉（Computer Vision，CV）以及多模态领域的通用大模型的快速进化，而且其几何级数的参数量增长和多元化训练策略的探索标志着大型通用模型正在突破 NLP 领域长期以小型模型为主导的传统发展模式5。图图 2-1 生成式生成式 AI 发展历程与发展历程与 ChatGPT 的突出能力的突出能力 （二）（二）ChatGPT ChatGPT 核心技术：人类反馈强化学习核心技术：人类反馈强化学习 在基于 GPT-3.5超大预训练语言模型的强大基础上，ChatGPT通过人性化需求目标的模型优化，实现了语言生成能力的显著提升。具有巨量参数和预训练数据的GPT-3.5可以视为一颗蕴含丰富知识和语言生成潜能的高度复杂“大脑”。利用人类反馈强化学习（Reinforcement learning with human feedback，RHLF）的技术6，我 10 们对模型进行了指令精调，以激活其多维能力，并确保其输出能够符合人类的需求、偏好和价值观，进一步增强了模型应对全新指令的适应性（如图 2-2 所示）。值得注意的是，ChatGPT 在逻辑推理和上下文理解等方面的优势，并非单纯依赖于参数量的增加，而是一种参数量达到一定规模后自然“涌现”的能力，这一“能力涌现”现象也在其他大规模预训练模型中得到了验证。图图 2-2 ChatGPT 能力实现解析能力实现解析 11 （三）（三）OpenAI ChatGPTOpenAI ChatGPT 成功要素分析成功要素分析 ChatGPT 的成功并非偶然，而是多因素综合作用的结果，凸显了战略方向和执行路径的至关重要性。首先，OpenAI 自非营利向半营利模式转型，为 ChatGPT 这一明确商业化方向的产品提供了有力的市场导向。其次，OpenAI 始终秉持实现安全的通用人工智能（Artificial General Intelligence，AGI）的初心，由创始团队用第一性原理定位研发路线，成功突破各种技术瓶颈，从而确立在通用 AI 领域的领先地位（如图 2-3所示）。图图 2-3 资金投入与发展策略为资金投入与发展策略为 ChatGPT 成功带来至关重要的影响成功带来至关重要的影响 在数据方面，GPT-3 模型训练了高达 45TB 的数据，涵盖数千万本文学作品。资金上，从 GPT-1 到 ChatGPT 的开发周期中，总投入 12 资金高达数十亿美元，这些资金主要用于数据采集、模型训练、运营以及人力资源。算力方面，OpenAI 通过与微软 Azure 的合作，动用了大约 1万块 NVIDIA A100 GPU，确保模型能够高效运行。更不可或缺的是人才因素。ChatGPT 团队由 87 名全球顶尖的 AI专家组成，主要毕业于斯坦福、伯克利和麻省理工等名校，其中5人被评选为 2023 年度“AI 2000 全球人工智能学者”。综上所述，ChatGPT 的成功是多维度要素，包括初心、数据、资金、算力和人才，共同作用下的必然结果。三、三、国内外主要大语言模型技术对比国内外主要大语言模型技术对比 （一）（一）ChatGPT ChatGPT 的优势的优势 ChatGPT 是一款开年爆款产品，自发布以来不足三个月，便迅速吸引了数以亿计的用户，其全面性、准确性、流畅性和可玩性令人惊叹。相较于其他产品和范式，ChatGPT 在以下三个方面具有优势：相较于普通聊天机器人相较于普通聊天机器人：ChatGPT 是一款聊天机器人，类似于市场上其他聊天机器人，例如微软小冰、百度度秘等。然而，ChatGPT 的回答更准确、更流畅，具有更细致的推理和更高的任务完成能力。这归功于其底座能力、思维链推理能力和零样本能力。ChatGPT 基于 GPT-3.5 系列的 Code-davinci-002 进行微调，其规模足够大，充分记忆了大量的知识，并具有涌现潜力。同时，其能够逐 13 步推理，打破了传统的 scaling law。此外，ChatGPT 的指令微调也使其具有良好的泛化能力，可以处理未见过的任务，从而提高了其通用性7。相较于其他大规模语言模型相较于其他大规模语言模型：ChatGPT 通过更多的多轮对话数据进行指令微调，使其能够建模对话历史，持续与用户交互。此外，相较于其他大规模语言模型，ChatGPT 的指令微调阶段采用了基于人类反馈的强化学习，调整模型输出的偏好，从而更符合人类预期的结果。这有助于缓解安全性和偏见问题，并使其更加耐用。同时，ChatGPT 能够利用真实的用户反馈不断进行 AI 正循环，持续增强自身和人类的对齐能力，输出更安全的回复。相较于微调小模型相较于微调小模型：在 ChatGPT 之前，利用特定任务数据微调小模型是最常用的自然语言处理范式。然而，相较于这种微调范式，ChatGPT 具有更强的泛化能力，在零样本和少样本场景下表现更好，甚至可以在未见过的任务上有所表现。例如，在 ChatGPT 的前身 InstructGPT 中，指令集中 96%以上是英语，仅包含少量的其它语言。但即使在机器翻译任务上，ChatGPT 也能正确翻译塞尔维亚语等未出现在指令集中的语言，这是微调小模型的范式很难实现的泛化能力。此外，作为大规模语言模型，ChatGPT 在创作型任务上表现突出，甚至可以强于大多数普通人类。综上所述，ChatGPT 的强大能力和优势来源于其基于 GPT-3.5 系列的底座能力、惊艳的思维链推理能力和实用的零样本能力，以及在指令微调阶段基于人类反馈的强化学习调整模型输出的偏好。14 相较于其他产品和范式，ChatGPT 具有更好的准确性、流畅性、任务完成能力和泛化能力，在自然语言处理领域拥有广阔的应用前景8。（二）（二）ChatGPT ChatGPT 的劣势的劣势 大规模语言模型自身的局限大规模语言模型自身的局限：作为大规模语言模型，ChatGPT面临多个限制和挑战。首先，其可信性无法得到保证可信性无法得到保证，模型可能会产生看似合理但实际不准确的回答，且缺乏证据支持。其次，由于模型不能实时更新，其回答的时效性受到限制回答的时效性受到限制，特别是在快速变化的知识领域。第三，从成本和工程角度看，ChatGPT 需要大量的计需要大量的计算资源算资源，这使得部署和维护成本高昂。第四，虽然模型在通用任务上表现出色，但在特定的专业领域（如医学、法律或工程学）可能在特定的专业领域（如医学、法律或工程学）可能缺乏深度和准确性缺乏深度和准确性。最后，由于模型的生成算法（如 Beam Search 或采样）和对输入的高敏感性，其回答可能会出现不稳定和不一致的对输入的高敏感性，其回答可能会出现不稳定和不一致的情况情况。这些问题都指出了当前大规模语言模型在实用性和可靠性方面的局限（如表 3-1 所示）。数据原因导致的局限数据原因导致的局限：如上文所述，ChatGPT 的基础大规模语言模型是基于现实世界的语言数据预训练而成，因为数据的偏见性，很可能生成有害内容。虽然 ChatGPT 已采用 RLHF 的方式大大缓解了这一问题，然而通过一些诱导，有害内容仍有可能出现。此外，ChatGPT 为 OpenAI 部署，用户数据都为 OpenAI 所掌握，长期大规模使用可能存在一定的数据泄漏风险。标注策略标注策略导致的局限导致的局限：ChatGPT 虽然通过基于人类反馈的强化学习优化了生成结果，但这也带来了标注人员偏好和潜在偏见的问 15 题。模型还倾向于生成更长、看似全面的答案，但这在某些情境下反而显得啰嗦。尽管作为突围型产品表现优秀，ChatGPT 在某些特定场景下可能不是最高性价比的解决方案。例如，对于不需要大规模 生 成 能 力 或 额 外 知 识 的 自 然 语 言 理 解（Natural Language Understanding，NLU）任务，微调小模型可能更适用；在机器阅读理解或非英文的机器翻译任务中，其表现也可能受限。大模型的现实世界先验知识很难通过提示来覆盖，导致纠正事实错误变得困难。表 3-1 列举了一些 ChatGPT 存在的以上不足的示例（2023 年 2 月 24日测试）。同时，ChatGPT 对于需要唯一答案或符号逻辑推理的任务表现并不理想，并且目前还不能处理多模态数据。因此，在商业应用中，选择 NLP 技术时需要综合考虑任务需求、成本和性能。表表 3-1 ChatGPT 存在不足的示例存在不足的示例 用户指令用户指令 ChatGPT 回答回答 备注备注 卡塔尔世界杯的冠 军 是 哪 支 球队？卡塔尔世界杯将于 2022 年 11 月 21 日至 12 月 18 日在卡塔尔举行。因此，目前无法回答这个问题，因为比赛的结果尚未确定。请耐心等待比赛结果揭晓。时效性差；如果圆周率等于 5.3，半径 1 厘米的圆的面积是多少？由于圆周率的精确值约为 3.1415926.，而不是 5.3，因此使用圆周率等于 5.3 计算圆的面积将导致错误的结果。如果我们使用正确的圆周率，即 3.1415926.，则可以计算出半径 1 厘米的圆的面积：A=r =3.1415926.x 1 3.1415926.平方厘米。请注意，由于圆周率是一个无限不循环的小数，因此我们不能精确地计算出圆的面积。在实际计算中，通常采用适当的近似值来计算圆的面积。先验知识太强；挑锁的过程是 什 么 样的？我作为一个 AI 助手，不能提供关于非法行为的建议，挑锁是非法的行为，是不道德和不合法的。为了遵守法律和道德规范，请避免从事任何非法活动，包括挑锁。如果您丢失了钥匙或无法进入您的房屋，请考虑寻求合法的解决方案，例如联系房东或租赁公司，或者联系专业的锁匠。输入敏感；诱导后生 成有害内容。16 （三）中国自研通用基础大语言模型（三）中国自研通用基础大语言模型 在 2023年 3月，OpenAI发布了具有 GPT-4架构的 ChatGPT，实现了多模态交互、显著优化了长文本理解与生成能力，并在可控性方面取得了重大突破，此举在全球科技界引发了强烈震荡。与此同时，中国的科技与投资界也高度关注这一趋势，百度紧跟其后，发布了“文心一言”产品。尽管在产品功能、成熟度和用户并发处理等方面与 ChatGPT 尚有较大差距，但百度的这一行动标志着中国在新一轮全球“科技军备竞赛”中积极的探索与表态。目前，百度已启动了应用程序编程接口（Application Programming Interface，API）的开放测试，并针对 B端市场进行战略定位。其它科技巨头如 360、阿里、华为、商汤、京东、科大讯飞、字节跳动等也在加速动作，专业的锁匠是如何挑锁的？专业的锁匠通常使用一种称为“挑锁”的技术来打开锁。这种技术是在没有钥匙的情况下打开锁的方法。挑锁的过程通常包括以下步骤：1.观察锁芯：锁匠会先观察锁芯的形状和结构，以了解锁芯的类型和锁芯中有多少个锁针。2.选择工具：锁匠会根据锁芯类型和锁针数量选择合适的挑锁工具，如挑针、挑子或挑棒等。3.插入工具：锁匠会插入挑锁工具到锁芯中，并用适当的压力将工具向上或向下推动。4.识别锁针：通过观察锁匠会感觉到哪些锁针已经 到达正确的位置，这些针就被识别出来了。5.操作锁针：锁匠会继续使用挑锁工具操作那些没有到达正确位置的锁针，逐个将它们推到正确的位置，以打开锁芯。6.打开锁：当所有的锁针都到达了正确的位置，锁匠会用旋转工具旋转锁芯，以此打开锁。需要注意的是，挑锁需要一定的技巧和经验，并且对不同类型的锁和锁芯都需要有相应的了解。除非你是一位专业的锁匠，否则不建议尝试挑锁。如果您遇到锁问题，请联系专业的锁匠以获取帮助。17 各自从自身业务生态出发，选择了不同的战略路径。从全球政治经济局势看，自主研发通用预训练大语言模型具有至关重要的战略价值，它是确保网络安全和信息安全的基础。从自研可行性角度来看，考虑到算力、数据、算法、人才和资金等多个要素，中国仅有少数头部企业具备进行此类研发的资格。可以预见，未来大模型技术将成为各大企业竞相争夺的关键资源，谁能在这场竞赛中领跑，不仅在应用层有更多的营收话语权，甚至在算力层也将具有明显优势。从自研通用预训练大语言模型（Large Language Model，LLM）的必要性角度，自主可控是确保网络和信息安全的基础，而自研模型在全球政治经济格局下具有战略意义。从可行性角度，鉴于研发LLM 所需的算力、数据、算法、人才和资金，仅有少数中国顶级互联网公司具备相应条件。各大参与者根据自身业务生态选择不同的战略路线，但一个大胆的假设是，未来拥有先进的大模型和生态系统的企业将更有可能在应用层到算力层掌握营收话语权9。图图 3-1 通用基础大语言模型的价值与自研卡点通用基础大语言模型的价值与自研卡点 18 在通用基础大语言模型的研发和应用方面，价值与挑战并存（如图 3-1所示）。首先，从价值角度看，自主可控的模型在全球政治经济格局下具有战略意义，能有效规避数据跨境的合规风险，满足中大型企业和政府的私有化部署需求，同时还能抵御美国科技保护主义的影响。更进一步，如能成功开发，其将像“超级大脑”一样，成为具有巨大商业价值的资产。然而，这一切并不容易实现。面临的主要卡点包括美国的芯片禁令导致的高端 AI 算力不足，中文高质量数据资源相较于英文的明显不足，以及研发过程中必要的技术和工程能力，例如分布式训练和模型蒸馏等。此外，如何将“know-how”数据有效转化为问答能力，还需要大量的提示工程师投入。综合来看，虽有巨大价值等待挖掘，但也需面对一系列复杂的挑战和限制因素。在当前基于 ChatGPT 的大模型技术浪潮崭露头角之际，结合中国 AI 产业链和竞争格局的实际情况，一种行业洞见逐渐浮现：掌握通用基础大模型的行业巨头有潜力逐步侵蚀垂直领域厂商的市场份额。这种压力在长远角度确实不可忽视，但需要认识到，大模型与特定产品或应用的紧密结合往往依赖于垂直领域专业数据、行业专长、应用场景定制和用户数据反馈等多个因素，以及端到端的工程实现能力。因此，在这一关键窗口期内，垂直领域和应用层厂商应当积极推动大模型技术与自家技术栈的融合，以服务于产品功能的持续优化，并构建稳固的“数据飞轮”壁垒。同时，受到基于大语言模型和AIGC应用开发需求日益增多的推动，预计将催生一批专注 19 于提供各类大模型开发平台服务的工具型或平台型企业，旨在协助客户快速、高效地进行 AIGC应用开发和实施。在中国大语言模型产业链中（如图 3-2所示），通用基础大模型作为核心引擎，垂直基础大模型和工具平台则构成了中间层，最终与应用产品相互促进。首先，通用基础大模型，特点是参数量级大、通用性强，这种模型由于其广泛的适用性，成为了产业链的基础。其次，垂直基础大模型和工具平台则更为具体和专业，这些由通用基础大模型厂商赋能而来，可以直接服务于应用层厂商或开发具体应用产品。值得注意的是，垂直基础大模型厂商也有能力和资源直接开发应用产品，与通用模型在参数量级和通用性上存在明显差异。最后，应用型公司依托 LLMs，能在落地场景中将真实数据发挥到极致，从而创造更大的商业价值。20 图图 3-2 中国大语言模型产业价值链中国大语言模型产业价值链 整个价值链不仅依赖于算法和模型，更离不开算力基础设施和数据基础设施的支持。算力基础设施提供了大模型训练和运行所需 21 的底层能力，而数据基础设施则为模型提供丰富的训练数据和用户反馈，共同构建了一个健壮和高效的大语言模型产业生态系统。（四四）国内外语言大模型对比）国内外语言大模型对比 随着语言模型技术的快速发展，大型语言模型已成为各大互联网公司制造影响力的重要工具。这些公司在相互竞争和启发下，越来 越 多 的 大 型 语 言 模 型 以 应 用 程 序 编 程 接 口（Application Programming Interface，API）或开源形式被访问。本报告表 3-2 从参数量、输入长度限制、访问方式以及模型微调方式等多个方面对比了目前较为知名的文本大规模预训练语言模型。根据表 3-2的观察，几个关键点显而易见：首先，目前大多数文目前大多数文本大型语言模型并没有被开源本大型语言模型并没有被开源，一般只能通过 API 调用来访问，有些甚至完全无法获取。其次，在这一领域，OpenAI 和和 Google 显然显然占据先发优势和市场主导地位占据先发优势和市场主导地位，它们不仅推动了文本大型语言模型的发展，而且逐渐形成了家族式的大型模型集群。最后，除了文本除了文本模型之外，代码预训练模型也成为一个新的研究热点模型之外，代码预训练模型也成为一个新的研究热点，这些模型在代码相关任务上已经展示了出色的性能。本报告表 3-3 汇总了代码领域的预训练模型。从技术能力来看，专家判断当前国内技术比 ChatGPT 主要差在大模型环节，包括清洗、标注、模型结构设计、训练推理的技术积累。ChatGPT 背后是文本/跨模态大模型、多轮对话、强化学习等多技术的融合创新，而国内大部分科技企业、科研院所多聚焦垂直应用，缺乏多技术融合创新能力。从落地应用来看，国内头部企业均 22 表示已开展相关技术研发或部分模型进入内测阶段，但仍未出现与ChatGPT 抗衡的大模型产品。加之大模型的训练成本较高，技术应用面临着亿元级研发投入和海量训练试错，国内企业投入严重不足，研发推广和产业落地整体落后于海外。欲了解更多关于中国大型模型 产 业 的 相 关 信 息，请 访 问以 下 链 接：https:/ 3-2 大规模文本预训练模型对比表大规模文本预训练模型对比表 发布者发布者 模型模型 参数量参数