揭秘ChatGPT身后的AIGC技术和它的中国同行们.pdf

Table_yemei1 观点聚焦 Investment Focus Table_yejiao1 本研究报告由海通国际分销，海通国际是由海通国际研究有限公司，海通证券印度私人有限公司，海通国际株式会社和海通国际证券集团其他各成员单位的证券研究团队所组成的全球品牌，海通国际证券集团各成员分别在其许可的司法管辖区内从事证券活动。关于海通国际的分析师证明，重要披露声明和免责声明，请参阅附录。(Please see appendix for English translation of the disclaimer)研究报告 Research Report 7 Feb 2023 中国计算机和软件中国计算机和软件 China Computer&Software MaaS Model as a Service 模型即服务 MaaS Model as a Service Table_Info股票名称 评级 商汤集团 Outperform 科大讯飞 Outperform Outperform Outperform Outperform Outperform Outperform Outperform Outperform Outperform Outperform Outperform Outperform Outperform Outperform Outperform Outperform Outperform Outperform Outperform Outperform Outperform Outperform Outperform Outperform Outperform Outperform Outperform Outperform Outperform 资料来源：Factset,HTI Related Reports 全面实行股票发行注册制改革正式启动，或带来证券 IT 全新增量需求（Full Implementation of Stock Issuance Registration System Reform Officially Launched,May Bring New Incremental Demand for Securities IT）(2 Feb 2023)商汤作为富时全球指数成分股候选将被评估，美国投资者或可投资商汤（Sense Time Group Will Be Evaluated as an FTSE Global Index Constituent Candidate,U.S.Investors May Be Able to Invest in Sense Time Group）(2 Feb 2023)计算机行业跟踪周报 295 期：计算机行业春季行情综述（Computer Industry Weekly Report(295):Computer Industry Spring Market Preview）(29 Jan 2023)(Please see APPENDIX 1 for English summary)大模型是人工智能的发展趋势和未来。大模型是人工智能的发展趋势和未来。大模型是“大算力+强算法”结合的产物。目前，大模型生态已初具规模。大模型能够实现 AI从“手工作坊”到“工厂模式”的转变，大模型通常是在大规模无标注数据上进行训练，学习出一种特征和规则，基于大模型进行应用开发时，将大模型进行微调，或者不进行微调，就可以完成多个应用场景的任务；并且，大模型具有自监督学习能力，不需要或很少需要通过人工标注的数据进行训练，降低训练成本，因而能够加速 AI产业化进程，降低 AI 应用的门槛。另外，随着大模型不断地迭代，大模型能够达到更强的通用性以及智能程度，从而使得 AI 能够更广泛地赋能各行业应用。我们认为，大模型是人工智能的发展趋势和未来。模型公司将是模型公司将是 AI 世界的基础类公司。世界的基础类公司。大模型在能力泛化与技术融合方面的优势，使其在应用支撑方面具有先进性；同时大模型做到了相对标准化，能够降低 AI 技术应用于下游场景的成本。因此，大模型在大模型在 AI 产业链中将承担产业链中将承担“基础设施基础设施”式的功能，作为底座将式的功能，作为底座将 AI技术赋能千行百业技术赋能千行百业。我们认为，模型公司能够发挥大模型作为 AI基础设施与底座的能力，基于大模型“大规模预训练微调”的范式满足 AI 产业链下游各行业客户的应用需求，模型公司将成为 AI 世界中的基础类公司。模型公司将对科技公司竞争格局带来颠覆。模型公司将对科技公司竞争格局带来颠覆。2022 年 11 月 30 日，OpenAI 发布 ChatGPT，一款人工智能技术驱动的自然语言处理工具，能够通过学习和理解人类的语言来进行对话和互动，甚至能完成撰写邮件、视频脚本、文案、翻译、代码等任务。ChatGPT 对搜对搜索领域或带来巨大冲击。索领域或带来巨大冲击。由于 ChatGPT 能够与用户进行交流明确需求并具备文本生成能力进行回复，其相对于传统搜索引擎在输入端和输出端都具有难以替代的优势。因而 ChatGPT 可能对搜索带来一个重大变化：用户将会转向聊天机器人寻求帮助，而不是通过谷用户将会转向聊天机器人寻求帮助，而不是通过谷歌提供的网站进行过滤歌提供的网站进行过滤。同时，技术上，ChatGPT 也可能会降低搜索引擎的门槛。可以说，ChatGPT 已经真真切切地改变了搜索领域，对众多科技公司产生了巨大的挑战。MaaS 将成为人工智能公司的核心商业模式。将成为人工智能公司的核心商业模式。模型是 MaaS 的最重要基座；单点工具，如基于 GPT 3.5 的 ChatGPT，是大模型的直接产品；可以预见，随着未来大模型的发展持续进行，大模型以及其产生的产品的应用场景将会持续扩展。MaaS 公司的收费已经开始，ChatGPT 采取订阅制收费模式订阅制收费模式，并且收费版的 ChatGPT Plus 的确拥有广泛的市场空间；Table_Author 郑宏达郑宏达 Nathan Zheng 杨林杨林 Lin Yang 洪琳洪琳 Lin Hong 557085100115Feb-22May-22Aug-22Nov-22Feb-23HAI China Computer&SoftwareMSCI China7 Feb 2023 2 Table_header1中国计算机和软件中国计算机和软件 类似的 AI 聊天公司 Jasper 分三档同样实施订阅服务的收费。而除了模型本身进行订阅收费以外，嵌入其他产品获得引流式收入嵌入其他产品获得引流式收入也是模式之一，例如，微软宣布推出高级付费版 Microsoft Teams Premium，订阅者可享用由 OpenAI GPT-3.5 提供支持的“智能回顾（Intelligent Recap）”这一重要功能，该功能将提供自动生成的会议记录、推荐任务和个性化标亮；微软旗下 Dynamics 365 产品线宣布旗下客户关系管理软件 Viva Sales 也将集成 OpenAI 的技术，通过人工智能帮助销售人员完成许多繁杂且重复的文字工作。其它的收费模式还包括不同的不同的Model应对不同的客户需求和客户定价应对不同的客户需求和客户定价，如OpenAI在推出 ChatGPT 以前，其主要收入来源于对外部客户开源自身大模型，通过提供 API接口调用来收费。客户的要求越高，使用的模型越好，那么大模型的收费也将会更高。建议关注。建议关注。商汤集团，云从科技，科大讯飞，百度，华为。风险提示。风险提示。行业应用不及预期，AIGC 技术发展不及预期的风险。7 Feb 2023 3 Table_header2中国计算机和软件中国计算机和软件 1.大模型是人工智能的发展趋势和未来大模型是人工智能的发展趋势和未来大模型，又称为预训练模型、基础模型等，是“大算力+强算法”结合的产物。大模型通常是在大规模无标注数据上进行训练，学习出一种特征和规则。基于大模型进行应用开发时，将大模型进行微调，如在下游特定任务上的小规模有标注数据进行二次训练，或者不进行微调，就可以完成多个应用场景的任务。迁移学习是预训练技术的主要思想。当目标场景的数据不足时，首先在数据量庞大的公开数据集上训练基于深度神经网络的 AI 模型，然后将其迁移到目标场景中，通过目标场景中的小数据集进行微调，使模型达到需要的性能。在这一过程中，这种在公开数据集训练过的深层网络模型,即为“预训练模型”。使用预训练模型很大程度上降低了下游任务模型对标注数据数量的要求，从而可以很好地处理一些难以获得大量标注数据的新场景。大模型正是人工智能发展的趋势和未来。1.1 国内外公司与机构竞相研发，大模型生态已初具规模国内外公司与机构竞相研发，大模型生态已初具规模 从参数规模上看，从参数规模上看，AI 大模型先后经历了大模型先后经历了预训练模型、大规模预训练模型、超大规模预训练模型、大规模预训练模型、超大规模预训练模型三个阶段，参数量实现了从亿级到百万亿级的突破。从模态支持上看，预训练模型三个阶段，参数量实现了从亿级到百万亿级的突破。从模态支持上看，AI 大模型从支持图片、图像、文本、语音单一模态下的单一任务，逐渐发展为支持大模型从支持图片、图像、文本、语音单一模态下的单一任务，逐渐发展为支持多种模态下的多种任务。多种模态下的多种任务。国外的超大规模预训练模型起步于国外的超大规模预训练模型起步于 2018 年，并在年，并在 2021 年进入年进入“军备竞赛军备竞赛”阶段。阶段。2017 年，Vaswani 等提出 Transformer 架构，奠定了当前大模型领域主流的算法架构基础；Transformer 结构的提出，使深度学习模型参数达到了上亿的规模。2018 年，谷歌提出了大规模预训练语言模型 BERT，该模型是基于 Transformer 的双向深层预训练模型，其参数首次超过 3 亿规模；同年，OpenAI 提出了生成式预训练Transformer 模型GPT，大大地推动了自然语言处理领域的发展。此后，基于BERT 的改进模型、ELNet、RoBERTa、T5 等大量新式预训练语言模型不断涌现，预训练技术在自然语言处理领域蓬勃发展。2019 年，OpenAI 继续推出 15 亿参数的 GPT-2，能够生成连贯的文本段落，做到初步的阅读理解、机器翻译等。紧接着，英伟达推出了 83 亿参数的 Megatron-LM，谷歌推出了 110 亿参数的 T5，微软推出了 170 亿参数的图灵 Turing-NLG。2020 年，OpenAI 推出了超大规模语言训练模型 GPT-3，其参数达到了 1750 亿，在两年左右的时间实现了模型规模从亿级到上千亿级的突破，并能够实现作诗、聊天、生成代码等功能。此后，微软和英伟达在 2020 年 10 月联手发布了 5300 亿参数的 Megatron-Turing 自然语言生成模型（MT-NLG）。2021 年 1 月，谷歌推出的 Switch Transformer模型以高达 1.6 万亿的参数量成为史上首个万亿级语言模型；同年 12 月，谷歌还提出了 1.2 万亿参数的通用稀疏语言模型 GLaM，在 7 项小样本学习领域的性能超过GPT-3。可以看到，大型语言模型的参数数量保持着指数增长势头。这样高速的发展并没有结束，2022 年，又有一些常规业态大模型涌现，比如 Stability AI 发布的文字到图像的创新模型 Diffusion，以及 OpenAI 推出的 ChatGPT，ChatGPT 是由效果比GPT3 更强大的 GPT-3.5 系列模型提供支持，并且这些模型使用微软 Azure AI 超级计算基础设施上的文本和代码数据进行训练。7 Feb 2023 4 Table_header2中国计算机和软件中国计算机和软件 图图1 国外大模型发展历程国外大模型发展历程 资料来源：IT 之家，人工智能学家公众号，腾讯新闻，HTI 而在国内，超大模型研发展异常迅速，而在国内，超大模型研发展异常迅速，2021 年成为中国年成为中国 AI 大模型的爆发年。大模型的爆发年。2021年，商汤发布了书生（INTERN）大模型，拥有 100 亿的参数量，这是一个相当庞大的训练工作。在训练过程中，大概有 10 个以上的监督信号帮助模型，适配各种不同的视觉或者 NLP任务，截至2021年中，商汤已建成世界上最大的计算器视觉模型，商汤已建成世界上最大的计算器视觉模型，该模型拥有超过该模型拥有超过 300 亿个参数亿个参数；同年 4 月，华为云联合循环智能发布盘古 NLP 超大规模预训练语言模型，参数规模达 1000 亿；联合北京大学发布盘古 超大规模预训练模型，参数规模达 2000 亿。阿里达摩院发布 270 亿参数的中文预训练语言模型PLUG，联合清华大学发布参数规模达到 1000 亿的中文多模态预训练模型 M6；7月，百度推出 ERNIE 3.0 知识增强大模型，参数规模达到百亿；10月，浪潮信息发布约 2500 亿的超大规模预训练模型“源 1.0”；12 月，百度推出 ERNIE 3.0 Titan 模型，参数规模达 2600 亿。而达摩院的 M6 模型参数达到 10 万亿，将大模型参数直接提升了一个量级。2022 年，基于清华大学、阿里达摩院等研究成果以及超算基础实现的“脑级人工智能模型”八卦炉（BAGUALU）完成建立，其模型参数模型突破了 174万亿个，完全可以与人脑中的突触数量相媲美。部分公司中国公司虽然目前还没有正式推出自身大模型产品，但是也在积极进行研发，例如云从科技，公司的研究团队高度认同例如云从科技，公司的研究团队高度认同“预训练大模型预训练大模型+下游任务迁移下游任务迁移”的技的技术趋势，从术趋势，从 2020 年开始，已经陆续在年开始，已经陆续在 NLP、OCR、机器视觉、语音等多个领域开展、机器视觉、语音等多个领域开展预训练大模型的实践，预训练大模型的实践，不仅进一步提升了公司各项核心算法的性能效果，同时也大幅提升了公司的算法生产效率，已经在城市治理、金融、智能制造等行业应用中体现价值。而且，中国的超大模而且，中国的超大模型并不落后于国外同类产品，在某些领域还能实现反超。型并不落后于国外同类产品，在某些领域还能实现反超。以商汤科技的书生（INTERN）为例，书生（INTERN）在分类、目标检测、语义分割、深度估计四大任务 26 个数据集上，基于同样下游场景数据（10%），相较于同期OpenAI 发布的最强开源模型 CLIP-R50 x16，平均错误率降低了 40.2%，47.3%，34.8%，9.4%。同时，书生只需要 10%的下游数据，平均错误率就能全面低于完整（100%）下游数据训练的 CLIP。7 Feb 2023 5 Table_header2中国计算机和软件中国计算机和软件 图图2 “书生书生”相较于同期最强开源模型相较于同期最强开源模型 CLIP 在准确率和数据使用效率上均取得大幅提升在准确率和数据使用效率上均取得大幅提升 资料来源：商汤科技官微，HTI 注：CLIP 为 OpenAI 在 2021 年发布 可以看到，国内外众多公司和研究机构积极开展对大模型的研发。目前，大模型参数规模最高可达百万亿级别，数据集达到 TB 量级，且面向多模态场景（同时支持文字、图像、声音、视频、触觉等两种及以上形态）的大模型已成为趋势。大模型生态已初具规模。表表 1 国内外主要大模型梳理，大模型生态已初具规模国内外主要大模型梳理，大模型生态已初具规模 企业企业 大模型大模型 参数参数 算力算力 数据量数据量 模型类型模型类型 商汤科技等 书生（INTERN+）100 亿 商汤 AIDC，峰值算力 3740 Petaflops-计算器视觉模型 商汤科技 某世界上最大的计算器视觉模型 300 亿 商汤 AIDC，峰值算力 3740 Petaflops-计算器视觉模型 清华大学等“八卦炉”（脑级 AI 模型）174 万亿参数（与人脑中突出数量媲美）“海洋之光”超级计算机（国产超算）中文多模态数据集 M6-Corpus 多模态预训练模型 阿里 M6 10 万亿 5 12 块 GPU 1.9TB 图像和 292GB 文本 多模态预训练模型 腾讯“混元”HunYuan_tvr 万亿 腾讯太极机器学习平台 五大跨模态视频检索数据集 多模态预训练模型 微软和英伟达 Megatron-Turing 5300 亿 280 块 GPU 3390 亿条文本数据 NLP 大模型 百度和鹏城实验室 ERNIW 3.0 Titan 2600 亿 鹏城云脑算力集群（2048 块CPU）和百度飞桨深度学习平台 纯文本和知识图谱的4TB 语料库 NLP 大模型 浪潮信息 源 1.0 2457 亿 4095（Pflops-day）/2128 张GPU 5000GB 高质量中文数据集 NLP 大模型 OpenAI GPT3.5 1750 亿 3640（Pflops-day）/上万块V100 GPU 组成的 gao 带宽集群算力 超过万亿单词的人类语言数据集 多模态预训练模型 华为云 盘古系列大模型 千亿 鹏城云脑和全场景 AI 计算框架 MindSpore，2048 块 GPU 40TB 训练数据 多模态预训练模型 中科院自动化所 紫东太初 千亿 昇腾 AI 基础软硬件平台 基于万条小规模数据集 图、文、音三模态 澜舟 孟子 10 亿 16 块 GPU 数百 G 级别不同领域的高质量语料 多模态预训练模型 资料来源：商汤科技官微，天翼智库，HTI 注：Pflops-day 为算力单位，意为一天可以进行约 10 20运算 7 Feb 2023 6 Table_header2中国计算机和软件中国计算机和软件 1.2 大模型能给大模型能给 AI 产业带来什么产业带来什么 1.2.1 大模型加速大模型加速 AI 产业化进程，降低了产业化进程，降低了 AI 应用的门槛应用的门槛 人工智能正处于从“可以用”逐渐走向“好用”的落地应用阶段，但目前仍处于商业落地早期，主要面临着场景需求碎片化、人力研发和应用计算成本高、长尾场景数据较少导致模型训练精度不够、模型算法从实验室场景到真实场景效果差距大等行业痛点。而大模型的出现能够在在提高模型的通用性、降低训练研发成本方面等方面降低 AI 落地应用的门槛。（1）大模型能够实现）大模型能够实现 AI 从从“手工作坊手工作坊“到到”工厂模式工厂模式”的转变的转变过去十年中，通过“深度学习+大算力”从而获得训练模型是实现人工智能的主流技术途径。由于深度学习、数据和算力这三个要素都已具备，全世界掀起了“大炼模型”的热潮，也催生了大批人工智能企业。但是，在深度学习技术兴起的近 10 年间，AI模型基本上是针对特定应用场景需求进行训练的，即小模型，属于传统的定制化、作坊式的模型开发方式。传统的 AI 模型从研发到投入应用需要完成包括确定需求、数据收集、模型算法设计、训练调优、应用部署和运营维护等阶段组成的整套流程。这意味着除了需要优秀的产品经理准确确定需求之外，还需要 AI 研发人员扎实的专业知识和协同合作能力完成大量复杂的工作。图图3 传统的定制化、作坊式模型开发流程传统的定制化、作坊式模型开发流程 资料来源：中国科学院自动化研究所官微，HTI 传统模式中，研发阶段研发阶段，为了应对各式各样的场景需求，AI 研发人员需要设计专网专用的个性定制化神经网络模型。模型设计过程要求研究人员具有充分的网络结构和场景任务专业知识，且需承受人力设计网络结构的试错成本和时间成本。一种降低专业人员设计门槛的思路是通过网络结构自动搜索的技术路线，但是这种方案对算力要求很高，并且不同场景任务都要调用大量机器进行自动搜索以获取最优模型，算力成本和时间成本仍然很高。一个项目往往需要专家团队实地驻场数月才能完成，其中数据收集和模型训练评估是否能够达到指标要求往往需要多次循环迭代，人力成本很高。落地阶段落地阶段，经“一个场景一个模型”式的作坊式模型开发得到的模型在许多垂直行业场景任务不通用。譬如无人自动驾驶全景感知领域，常常需要多行人跟踪、场景语义分割、视野内目标检测等多个模型协同作战才行；而同样是目标检测和分割应用，在医学图像领域训练的皮肤癌检测和分割 AI 模型也无法直接应用到监控场景的行人车辆检测和场景分割。模型无法复用和积累，同样导致了 AI 落地的高门槛、高成本与低效率。7 Feb 2023 7 Table_header2 中国计算机和软件中国计算机和软件 而大模型通过从海量的、多类型的场景数据中学习，并总结不同场景、不同业务下的通用能力，学习出一种特征和规则，成为具有泛化能力的模型底座。基于大模型进行应用开发或面对新的业务场景时，将大模型进行微调，例如在下游特定任务上的小规模有标注数据进行二次训练，或不进行微调，就可以完成多个应用场景的任务，实现通用的智能能力。由此利用大模型的通用能力可以有效的应对多样化、碎片化的 AI 应用需求，为实现规模推广 AI 落地应用提供可能。图图4 AI 大模型大模型“工厂模式工厂模式”的开发方式的开发方式 资料来源：百度文心大模型官微，HTI（2）大模型具有自监督学习能力，能够降低）大模型具有自监督学习能力，能够降低 AI 开发以及训练成本开发以及训练成本 传统的小模型训练过程中，涉及众多调参、调优的手动工作，需要大量的 AI 专业研发人员来完成；同时，模型训练对数据要求高，需要大规模的标注数据。然而许多行业数据获取困难、标注成本高，同时项目研发人员需要花费大量的时间收集原始数据。譬如，人工智能在医疗行业病理学、皮肤病学和放射学等医学图像密集领域的影响扩展增长，但是医学图像通常涉及到用户数据隐私，很难大规模获取到用于训练 AI 模型。而在工业视觉瑕疵检测领域，以布匹瑕疵为例，市场上需要检测的布匹种类包括白坯布、色坯布、成品布、有色布、纯棉、混纺等等，瑕疵种类繁多，颜色、厚薄难以识别，需要在工厂里长时间地收集数据并不断优化算法才能做好瑕疵检测。工业视觉应用场景千变万化，每个场景都具有专业知识的个性化的需求，而不同行业的数据在另一个场景或任务可能并不适用，还需重新收集、标注数据和训练模型，造成重复造车轮子现象，研发流程虽然相通，但研发的模型却难以复用。此外，AI 模型也需要完整的、实时的支持机器自学习的数据闭环，从而能够不断迭代优化。这一方面整体也导致了当前 AI 研发整体门槛、成本较高。而大模型通过自监督学习功能将输入的原始数据直接进行自动学习区分，合理构造适合模型学习的任务，不需要或很少需要通过人工标注的数据进行训练，很大程度上解决了人工标注数据标签的高成本、长周期和精确度的问题，并降低了训练所需要的数据规模。这在很大程度上减少了大模型训练数据获取、标注的成本，也更适合于小样本学习，从而有利于将传统的、有限的 AI 扩展到更多的应用场景。7 Feb 2023 8 Table_header2 中国计算机和软件中国计算机和软件 我们认为，大模型相对于传统 AI 模型开发模式在研发时拥有更标准化的流程，在落地时拥有更强的通用性，可以泛化到多种应用场景；并且大模型的自监督学习能力相较于传统的需要人工标注的模型训练能够显著降低研发成本，共同使得大模型对于 AI 产业具有重要意义，为解决 AI 落地难、促进 AI 产业化进程这一问题提供方向。1.2.2 大模型带来更强大的智能能力大模型带来更强大的智能能力 除通用能力强、研发过程标准化程度高外，大模型最大的优势还是在于“效果好”，其通过给模型“填喂”大数据提高其自学习能力，进而具有更强的智能程度。比如在自然语言处理领域，百度、谷歌等巨头的探索表明，基于预训练大模型的基于预训练大模型的 NLP 技术技术的效果，已超过过去最好的机器学习能力的效果，已超过过去最好的机器学习能力。OpenAI 的研究表明，2012 至 2018 年 6年间，在最大规模的人工智能模型训练中所使用的计算量呈指数级增长，其中有 3.5个月的时间计算量翻了一倍，比摩尔定律每 18 个月翻一倍的速度快得多。下一代 AI大模型，参数数量级将堪比人类大脑突触的水平，并且或将不仅能处理语言模型，将更是一个能处理语言、视觉、声音等多任务的多模态 AI 模型。大模型为通往强人工智能提供了一条可能的通道。图图5 弱人工智能仍属于计算机弱人工智能仍属于计算机“工具工具”范畴范畴，强人工智能能自适应地完成任务强人工智能能自适应地完成任务 资料来源：知乎，HTI 从大模型发展历程中能够看出，多模态大模型是发展趋势之一。由于具有在无监督情况下自动学习不同任务、并快速迁移到不同领域数据的强大能力，多模态大模型多模态大模型被广泛认为是从限定领域的弱人工智能迈向强人工智能的路径探索。OpenAI 联合创始人、首席科学家 Ilya Sutskever 也曾表示，“人工智能的长期目标是构建多模态神经网络，即 AI 能够学习不同模态之间的概念，从而更好地理解世界”。将文本、语音、图像、视频等多模态内容联合起来进行学习，大模型由单模态向多模态方向发展，能够对更广泛、更多样的下游任务提供模型基础支撑，从而实现更加通用的人能够对更广泛、更多样的下游任务提供模型基础支撑，从而实现更加通用的人工智能模型工智能模型。更具体来看，大模型带来的更强大的智能能力，能够推动人工智能向更高级智能应能够推动人工智能向更高级智能应用领域迈进用领域迈进，例如 AIGC、更智能的对话客服等领域。GPT-3 等大模型在新闻文本生成、商业文本分析、法律文本分析等领域具有较高的产业应用价值。2022年 OpenAI发布的基于 GPT-3.5 的 ChatGPT 则能够以对话方式进行交互；除问答以外，ChatGPT能够完成编程、写稿等众多超出人们想象的任务。甚至有研究人员表示未来ChatGPT 这样的新兴人工智能技术很可能会影响白领的工作。在一项由医疗初创公司 Ansible Health 领导的研究中，ChatGPT 参加美国医生执照的三项考试，考试成绩可以达到或接近达到及格；ChatGPT 在法律领域的表现甚至更加优秀，研究人员发现，ChatGPT 可以取得美国多州律师考试的及格分数；ChatGPT 的能力也已经获得了大型科技企业的认可，谷歌公司指出，如果 ChatGPT 参加谷歌的面试，理论上会得到入门级程序员的聘任。7 Feb 2023 9 Table_header2 中国计算机和软件中国计算机和软件 图图6 ChatGPT 的功能及特点的功能及特点 资料来源：钛媒体公众号，HTI 图图7 ChatGPT 能够持续多轮对话，并具备一定写作能力能够持续多轮对话，并具备一定写作能力 资料来源：OpenAI 官网，HTI 图图8 ChatGPT 能够修改程序中的错误能够修改程序中的错误 资料来源：OpenAI 官网，HTI 2022 年，大模型正在成为 AIGC 领域发展的算法引擎。在大模型的能力加持下，包括以文生图以及虚拟数字人等 AIGC 类应用将快速进入到商业化阶段，并为元宇宙内容生产带来巨大的变革。大模型正在让人工智能技术从五年前的“能听会看”，走到今天的“能思考、会创作”，未来有望实现“会推理、能决策”的重大进步。我们认为，随着大模型不断地进步、迭代、向多模态方向发展，大模型能够达到更强的通用性以及智能程度，从而使得 AI 能够更广泛地赋能各行业应用，尤其是更高级智能应用领域，这是大模型能够给 AI 产业带来的突破之一，也是大模型构成人工智能发展趋势和未来的原因之一。7 Feb 2023 10 Table_header2 中国计算机和软件中国计算机和软件 2.模型公司将是模型公司将是 AI 世界的基础类公司世界的基础类公司 2.1 大模型，智能时代的基础设施大模型，智能时代的基础设施 大模型的“大规模”和“预训练”属性，决定了其具有能力泛化、技术融合、应用支撑三大核心作用。能力泛化能力泛化方面，AI 大模型预先在海量通用数据上训练并具备多种基础能力，可结合多种垂直行业和业务场景需求进行模型微调和应用适配，能够摆脱传统 AI 能力碎片化、作坊式开发的束缚。AI 大模型得益于其“大规模预训练微调”的范式，可以很好地适应不同下游任务，展现出它强大的通用性。技术融合技术融合方面，单个 AI 大模型通过端到端联合训练调优，能有效集成自然语言处理、计算机视觉、智能语音、知识图谱等多个 AI 核心研究领域的多项技术，性能上可实现“1+12”的效果，可显著提升 AI 大模型的功能丰富性和性能优越性。应用支撑应用支撑方面，AI 大模型已成为上层应用的技术底座，能够有效支撑智能终端、系统、平台等产品应用落地，可解决传统 AI 应用过程中存在的壁垒多、部署难问题。从人工智能到各行业的商业应用，可以看作是上下游的关系。而 AI 大模型因为其自身而也正是大模型在能力泛化与技术融合方面的优势，使其在应用支撑方面具有先进性；同时大模型做到了相对标准化，下游可以降低对算法的使用成本，以及商业应用的适配成本。因此，大模型在 AI 产业链中将承担“基础设施”式的功能，作为底座将 AI 技术赋能千行百业。也就是说，在基于数据的互联网时代、基于算力的云计算时代之后，将进入基于大模型的 AI 时代。在未来，基于大模型，人工智能将如供水供电一般流向终端，流向用户和企业。图图9 大模型将作为一种基础设施将大模型将作为一种基础设施将 AI 赋能千行百业赋能千行百业 资料来源：智源研究院，HTI 如果将 AI 比作电力，那么大模型则相当于“发电机”，能将智能在更大的规模和范围普及。大模型的智能能力在未来将成为一种公共基础资源，像电力或自来水一样随取随用。每个智能终端、每个 APP，每个智能服务平台，都可以像接入电网一样，接入由 IT 基础设施组成的“智力”网络，让 AI 算法与技术能够更广泛地应用于各行各业。7 Feb 2023 11 Table_header2 中国计算机和软件中国计算机和软件 基于大模型形成的大规模智能网络和云计算完全不同。云计算尽管也将算力比作随取随用的资源，但目前仍然做不到像电力一样的方便。这是因为云计算本质上需要云和用户进行双向的资源交换，用户需要经过繁琐的数据准备、计算过程定义等过程，将数据和算法转移到云端，再由云端完成任务后传回本地。而基于大模型的大规模智能网络则不需要用户定义计算过程，只需要准备好数据，大模型强大的能力能够在少量微调甚至不微调的情况下直接完成用户所需的工作。这一智能能力生产和消费的网络，未来或将成为人类社会产业发展的主流模式。我们认为，大模型在能力泛化、技术融合、研发标准化程度高等方面的优势让其有能力支撑各式应用，使其正在成为人工智能技术及应用的新基座。正如发电厂和高速公路一样，大模型将成为各行各业应用 AI 技术的底座和创新的源头。2.2 模型公司以大模型为基础赋能模型公司以大模型为基础赋能 AI 产业链下游应用产业链下游应用 从当前阶段来看，国际上大模型研究开展的时间较早，在研发过程中积累了一些经验。目前有商业化应用案例的大模型主要包括 BERT、GPT-2、T-NLG、GPT-3 等。BERT 主要适用于搜索、营销、金融等依赖深层语义理解的领域，例如，在检索领域，谷歌目前已将 BERT 整合到搜索引擎中，为知识卡片和内容索引提供更为准确的结果。在营销领域，一些企业采用了开源的 BERT 模型，BERT 能够将大量的用户反馈内容进行整合，为下游的营销动作提供支持；GPT-2 更适合文本生成领域的任务，在营销、文案、对话、媒体等领域的应用较多；T-NLG 模型是自然语言生成模型，在文本生成、摘要等方面具有更强的性能；GPT-3 是目前商业化进展最快，应用案例最多的大模型。基于 GPT-3 的下游应用主要集中在内容创意生成、语言/风格互译、对话、搜索、游戏辅助开发等其它场景。图图10 GPT-2 根据关键词扩写营销文案根据关键词扩写营销文案 资料来源：Narrativa 官网，HTI 图图11 T-NLG 应用案例应用案例 资料来源：微软官网，HTI 国内，商汤的业务模式能够大致体现 AI 大模型、AI 大装置承担基础设施功能，搭载各式平台从而赋能百业。商汤拥有强大的人工智能基础设施 SenseCore，它以低成本、高效率大规模生产高性能的人工智能模型。SenseCore生产的人工智能模型具备感知智能、决策智能、智能内容生成及智能内容增强等功能，被集成到公司的产品及软件平台中以支持智慧城市、智慧商业、智慧生活以及智能汽车等垂直行业。业务模式上，公司使用 SenseCore 在模型库中组装现有模型，并针对增量需求训练新模型，从而以经济高效的方式配置产品方案。这类产品方案可通过软件平台向其他客户提供。7 Feb 2023 12 Table_header2 中国计算机和软件中国计算机和软件 SenseCore 提供强大的人工智能模型，可扩展及适应广泛的应用场景。SenseCore 可以按需提供人工智能模型生产、训练、部署及迭代，以更大的灵活性服务于客户，并缩短商业化时间。每一次 SenseCore 随着技术突破而升级，公司针对不同领域垂直行业的软件平台都会同步升级，功能和性能方面得到明显改善。另一方面，众多垂直行业也为 SenseCore 提供了丰富的场景及反馈，以促进 SenseCore 的演进。这种飞轮效应使公司在与从事单一垂直行业人工智能公司竞争当中处于更有利的地位。图图12 商汤在商汤在 SenseCore 基础上搭载行业软件平台基础上搭载行业软件平台 资料来源：商汤集团招股说明书（聆讯后资料集），HTI 图图13 SenseCore 带来的飞轮效应带来的飞轮效应 资料来源：商汤集团招股说明书（聆讯后资料集），HTI 又比如云从科技，公司的研究团队高度认同“预训练大模型+下游任务迁移”的技术趋势，从 2020 年开始，已经陆续在 NLP、OCR、机器视觉、语音等多个领域开展预训练大模型的实践，不仅进一步提升了公司各项核心算法的性能效果，同时也大幅提升了公司的算法生产效率，已经在城市治理、金融、智能制造等行业应用中体现价值；其次，公司一直以来都在人机协同领域布局，打造了像人一样思考和工作的人机协同操作系统（CWOS），致力于整合打通视觉、语音、NLP 等多个领域的大模型，要彻底打通数字世界和物理世界，为“像人一样思考和工作”打下坚实的技术基础；公司也通过开放的人机协同操作系统实现了技术平台化，加上多年的行业深耕，能够通过“平台化的通用模型+带行业 knowhow 的专用模型”来帮助各行各业快速实现智能化升级。图图14 云从科技人机协同操作系统（云从科技人机协同操作系统（CWOS）致力于整合多个领域的大模型）致力于整合多个领域的大模型 资料来源：云从科技官网，HTI 我们认为，模型公司能够发挥大模型作为 AI 基础设施与底座的能力，基于大模型“大规模预训练微调”的范式形成产品方案，并满足 AI 产业链下游各行业客户的应用需求，模型公司将成为 AI 世界中的基础类公司。7 Feb 2023 13 Table_header2中国计算机和软件中国计算机和软件 3.模型公司将对科技公司竞争格局带来颠覆模型公司将对科技公司竞争格局带来颠覆3.1 OpenAI 的前世今生的前世今生 OpenAI 成立于 2015 年 12 月，是所处于美国旧金山的一个人工智能研究实验室，由非营利性的 OpenAI Inc.及其营利性的子公司 OpenAI LP 组成。OpenAI 开展人工通用智能（AGI）研究，为了确保 AI 能够造福全人类，OpenAI 提供了一个基于 AI 的开发和研究框架，这也是其名字的来源（开放 AI 能力）。利用 OpenAI 的平台，客户可以快速提升开发技能并获取 AI 领域的专业知识，这有助于安全有效的通用人工智能（AGI）技术的发展。OpenAI 开发、维护和训练了一批可用于通用活动的 AI 模型，包括写作、阅读、编程和图像处理写作、阅读、编程和图像处理等，OpenAI 始终相信 AGI 对