2023年GPT已拉开AIGC技术革命序幕：海外为鉴看国内大模型与终端应用投资机会.pdf

请务必阅读正文之后的免责声明及其项下所有内容20232023年年0505月月0505日日GPT已拉开已拉开AIGC技术革命序幕技术革命序幕海外为鉴，看国内大模型与终端应用投资机会海外为鉴，看国内大模型与终端应用投资机会行业研究行业研究 海外市场专题海外市场专题 互联网互联网 互联网互联网投资评级：超配（维持评级）投资评级：超配（维持评级）证券研究报告证券研究报告|证券分析师：谢琦021-S0980520080008请务必阅读正文之后的免责声明及其项下所有内容本报告的重点本报告的重点海外发展：海外发展：现阶段海外大模型发展领先，GPT4已呈现出色的内容生成与交互能力，Google、Meta等也已发布相关产品，预计将带来可观的增量市场与效率提升，已给相关应用（微软、彭博等）带来巨大变化，预计相似的变革也将在国内发生。国内大模型：国内大模型：国内成熟大模型落地具备较好的条件：业内已有相对成熟的方法路径（Transformer等）、大模型（GPT2、Meta-LLaMA等）及相关数据基础，而芯片短期看并未成为发展限制，百度、阿里、字节、华为、腾讯等巨头均加速布局，百度、阿里、商汤发布大模型且迭代进展迅速，预计国内GPT3级模型或在不久的将来出现，对国内产业链形成巨大影响。应用场景展望：应用场景展望：考虑现阶段国内大模型未完全成熟，因此更多是借鉴海外路径演绎国内发展。目前看海外应用端已经百花齐放，办公、搜索、教育、对话社交、游戏、金融、电商、图片视频等领域已出现大量产品创新，GPT plugin插件推出后相关产品和场景有望进一步扩展。投资策略：投资策略：1 1）大模型环节：）大模型环节：具备哪些禀赋的企业更可能在大模型竞争中脱颖而出？我们认为，大模型整体来说还是大厂的生意，综合算力资源、算法人才、数据积累及产品先发四个核心要素，目前百度领先，关注字节、阿里、华为、腾讯等企业进展百度领先，关注字节、阿里、华为、腾讯等企业进展。2 2）应用场景环节：）应用场景环节：具备哪些禀赋的企业能够在技术变革下守住基本盘并更上一层楼，而哪些企业可能面临被替代的风险？我们认为，有以下禀赋的企业：原有产品场景壁垒高，且受益于AIGC出色的信息获取、内容生成能力；有独特垂直的高质量数据；有用户粘性与深度；本身有较强的AI技术研发与落地能力；加持自有大模型或外部模型API有望上台阶，关关注腾讯、阿里、百度，以及游戏、金融、教育、办公等垂直领域有高质量数据与场景的优质企业。注腾讯、阿里、百度，以及游戏、金融、教育、办公等垂直领域有高质量数据与场景的优质企业。反之，如无上述禀赋，或面临被大模型降维竞争风险。风险因素：风险因素：技术进展低于预期，竞争超预期，内容、数据与技术监管风险，中美科技竞争风险nMwPoMrRoRtPoOyQrOsOnO9P9R8OoMqQmOmPfQpPsPfQmMrO7NnMtPxNsRmQwMmOuN请务必阅读正文之后的免责声明及其项下所有内容目录目录1 1.GPT.GPT带动带动AIGCAIGC技术革命技术革命，驱动海外互联网软件产业巨大变革驱动海外互联网软件产业巨大变革 1）GPT的发展背景：全球AI产业厚积薄发，OpenAI技术突破 2）AIGC技术已对海外互联网软件产业链带来巨大变化 3）展望：多模态应用、GPT插件等有望带来更大的变革2.2.核心变量核心变量大模型：国内大厂加速布局，成熟大模型落地前景可期大模型：国内大厂加速布局，成熟大模型落地前景可期 1）从GPT看大模型的核心竞争要素：算力、算法、数据、生态 2）从中美差异看国内大模型发展路线：国内大厂加紧追赶，模型与应用齐头并进3.3.应用展望：从海外路径看国内发展应用展望：从海外路径看国内发展 1）海外应用：AIGC应用百花齐放 案例：办公写作、搜索、教育、对话社交、游戏、金融、电商、图片视频 2）海外经验：“AI赋能”or“被AI替代”？3）国内应用：有待成熟大模型落地，巨大效率提升下机遇与挑战并存 国内头部互联网企业应用落地场景分析4.4.投资投资策略与重点策略与重点标的标的：1）大模型及相关生态：百度领先，关注阿里、腾讯、字节、华为等 2）垂直应用领域：海外关注微软，国内关注腾讯、阿里、百度及垂直领域有高质量数据与场景的优质企业5.5.风险因素风险因素：技术进展低于预期，竞争超预期，内容、数据与技术监管风险，中美科技竞争风险请务必阅读正文之后的免责声明及其项下所有内容1.1GPT1.1GPT：自然语言处理领域突破性创新，拉开生产力革命序幕：自然语言处理领域突破性创新，拉开生产力革命序幕图：消费级应用达到一亿用户花费时长资料来源：Similarweb图：ChatGPT产品功能展示资料来源：ChatGPT ChatGPTChatGPT引发巨大关注。引发巨大关注。2022年11月30日，OpenAI推出人工智能大语言模型产品ChatGPT，能根据用户的文本输入，产生相应的智能回答，能进行多轮对话与反馈，支持各领域知识场景与多语言内容，其综合语言处理能力接近真人而处理效率显著更高，ChatGPT产品发布以来引发巨大关注，上线两个月后月活突破1亿，日活用户超1200万。GPTGPT相关技术有望拉开文本信息处理的生产效率革命。相关技术有望拉开文本信息处理的生产效率革命。语言文本处理是人类世界最重要的工作内容之一，每年全球投入大量的人员和资源用于处理各种语言文本以协调社会分工，如果AI能够协助人类大幅提升语言文本处理效率，将带来巨大的生产力效率提升。消费级应用消费级应用1亿用户达成时长亿用户达成时长(月月)ChatGPT2TikTok9Instagram30Pinterest41Spotify55Telegram61Uber70Google Transalte78请务必阅读正文之后的免责声明及其项下所有内容 算力、数据、模型方法等底层要素的持续进步是算力、数据、模型方法等底层要素的持续进步是C ChatGPThatGPT发展的重要基础与驱动。发展的重要基础与驱动。算力提升：算力提升：大规模深度学习模型的参数和数据量大幅提升，如GPT-3大模型包含1750亿参数，如果采用单片V100需要训练超过300年。而近年AI算力技术持续进步是大模型发展重要先决条件，英伟达CEO表示过去十年，通过提出新处理器、新系统、新互连、新框架和算法，并与数据科学家、AI 研究人员合作开发新模型，已使大语言模型的处理速度提高100万倍（英伟达财报会议）。数据积累：数据积累：随着数字时代的到来，生成数据的工具和软件愈发普遍，数据总量呈指数增长，可供AI训练的数据质量和数量均有很大提升，ChaGPT训练数据超过45TB。模型方法：模型方法：GPT-1、GPT-2、GPT-3版本持续优化，迭代到GPT3.5(ChatGPT的模型)已在自然语言理解和内容生成上取得极大性能提升，后续GPT4在参数、语料与能力进一步提升。图：GPT大模型在文字生产的出色表现，标志着生成式AI（AIGC）的巨大进步资料来源：国信证券研究部整理，OpenAI官网，GPT-4 Technical ReportOpenAI1.11.1发展驱动：底层技术持续积累形成质变，驱动发展驱动：底层技术持续积累形成质变，驱动AIAI产品突破产品突破时序记忆性：可以连续多轮对话，幅提升了对户意图的理解；持续迭代：可以利用户数据持续训练，随着规模增长，模型性能稳定提升；训练速度快：利用Transformer可以并行训练；准确性的提升：根据GPT-4 Technical Report 在语言基准测评中平均准确率超过80%，在所有测试上都优于现有的LM，超过SOTA水平；人类可纠偏：模型采用teacher model+强化学习，主动承认错误和法回答的问题，更正答案；通用性：模型训练是通用的，可以适用于不同的任务；请务必阅读正文之后的免责声明及其项下所有内容1.2 AIGC1.2 AIGC产业链概览：算力层、大模型层、细分模型产业链概览：算力层、大模型层、细分模型/终端应用终端应用 产业链角度，可分为算力层、产业链角度，可分为算力层、大模型与垂直细分模型层、终端大模型与垂直细分模型层、终端应用：应用：1）算力层、大模型层技术门槛高、规模效应强，预计主要集中于头部公司（芯片、互联网云服务巨头）；2）应用层重细分垂直行业与场景、数据，强调AI技术对细分领域的赋能提升，有望出现有更多的垂类企业机会。自然语言自然语言NLP 开发（搜索引擎）文案生成(小说/电商/新闻/法律)对话机器人(销售客服/情感陪伴)机器语言代码生成代码辅助RPA 交互生成图片图片生成(to c 新玩法/to b 游戏、电商)图片识别3D建模生成音频音频识别音视频剪辑音视频生成Avatar 生成智能控制机器人自动驾驶边缘计算AI for science医学物理化学材料科学安全数据安全模型安全可控生成可解释性算力层：计算资源，AI芯片、云计算、通信、技术支持服务等大模型层：大模型以及深度学习框架细分模型层：专业或者垂直细分领域模型，比如金融、教育、医疗、法律等，有独特数据、场景优势的公司终端应用层：终端应用层，可运用与各个模态场景以及各个行业，实现AI+XGPT-4（多模态）Codex（编程）CLIP（多模态）DALL-E（图片）Gato（多模态）AlphaFold2(生物)Alphacode(代码)BERT（多模态）LaMDA（语言）PLaM（语言）Imagen（图片）MusicLM（音频）LLaMA（语言）SAM（图片）Make-A-Video（视频）Cconstitution AI请务必阅读正文之后的免责声明及其项下所有内容1.2AIGC1.2AIGC海外应用百花齐放、玩家众多、变化巨大海外应用百花齐放、玩家众多、变化巨大视频视频虚拟助手虚拟助手/角色角色代码（代码检查、代码生成）代码（代码检查、代码生成）图片生成图片生成文本类（文案生成、写作助手）文本类（文案生成、写作助手）设计（营销、品牌）设计（营销、品牌）音频类（音色模仿、音乐生成）音频类（音色模仿、音乐生成）请务必阅读正文之后的免责声明及其项下所有内容1.3 1.3 ChatGPTChatGPT插件（插件（PluginPlugin）功能：门户、平台与生态）功能：门户、平台与生态插件使插件使ChatGPTChatGPT 能够连接到第三方应用程序交互能够连接到第三方应用程序交互：3月23日，Open AI在官网宣布推出ChatGPT插件（Plugin）功能，同时开源知识库插件源代码，从而增强 ChatGPT 的功能并允许执行更广泛的操作。第一批ChatGPT插件包括：本地生活本地生活：Expedia（旅行酒店）、KAYAK（航班、住宿和租车）、OpenTable（就餐）；电商电商：FiscalNote（市场数据集）、Instacart（本地订货）、Klarna（线上比价）、Shop（购物）；教育教育：Speak（学外语）、Wolfram（数学）、Milo Family Al（家庭教育）；办公办公：Zapier（邮件、文档）；ChatGPTChatGPT就能够理解如何调用、何时调用：就能够理解如何调用、何时调用：ChatGPT调用插件只需使用者描述自己开发插件的功能，GPT可以自行调用。ChatGPTChatGPT插件（插件（PluginPlugin）功能从开发角度类似于）功能从开发角度类似于APP StoreAPP Store，越过操作系统实现生态建设，同时被下游反哺。使用角度更像，越过操作系统实现生态建设，同时被下游反哺。使用角度更像微信小程序，目前不需要界面与交互过程切换（插件属性），有望形成新的流量入口。微信小程序，目前不需要界面与交互过程切换（插件属性），有望形成新的流量入口。插件一览插件一览调用插件流程调用插件流程 插件安装流程插件安装流程资料来源：微信公众号“差评”“36氪请务必阅读正文之后的免责声明及其项下所有内容1.3 1.3 ChatGPTChatGPT的隐藏的插件：产业和产品形态变革刚拉开序幕的隐藏的插件：产业和产品形态变革刚拉开序幕图：New Bing产品效果资料来源：微信公众号“TechVerse”官方还托管了两个插件：一个 web 浏览器和一个代码解释器，还有用户在安装信息还发现了隐藏的后续插件功能，如：办公：办公：Send EmailSend Email直接通过ChatGPT发送邮件，TODOTODO：设置和管理任务列表；电商：电商：Crypto PricesCrypto Prices查询Crypto价格；娱乐娱乐：DANDAN可以给ChatGPT赋予个性（ChatGPT陪聊）请务必阅读正文之后的免责声明及其项下所有内容1.3 1.3 ChatGPTChatGPT：自然语言只是第一步，多模态后能力的涌现：自然语言只是第一步，多模态后能力的涌现 开启高维信息的解读是新能力涌现的重要途经开启高维信息的解读是新能力涌现的重要途经：GPT4出现多模态标志着计算机技术领域到其他领域真正的范式转变。人类的认知和知识结构80%靠视觉在具象的过程中理解事物，例如：分子结构、机械联动、逻辑关系、社交网络等。不同于低维度的流数据，图结构表示的信息通常是对环境的深层次挖掘和凝练，其内容可以支持更长周期的预测，无论是对于人类还是其他人工智能体来说，掌握这类信息具有更重大的意义，代表系统深度掌握“推理”的概念。资料来源：国信证券研究部整理，OpenAI官网，GPT-4 Technical ReportOpenAIChatGPTChatGPT 3.5 3.5ChatGPTChatGPT 4 4展望展望ChatGPTChatGPT N N简单任务简单任务略低于 state-of-the-art(SOTA)的模型；包括在许多领域上超过现有的 state-of-the-art(SOTA)的模型；测试的 26 种语言的 24 种中，GPT-4 优于 GPT-3.5 和其他大语言模型（Chinchilla、PaLM）的英语语言性能：在事实性任务上基本不会出错，并附有资料来源可进行cross check;复杂任务复杂任务司法考试中，GPT3.5只能击败10%左右的法学生；更可靠、更有创意，并且能够处理更细微的指令，逻辑推理能力大幅提升；各种奥林匹克竞赛、GRE考试、代码考试、统一律师考试等测试上，GPT-4可以在人类考生前10%；在绝大多数领域（计算、逻辑、推理、批判性思维、实践）能力强于人类，在垂直细分领域达到顶级专家水平；模态模态视觉输入能力Visual Inputs：理解图片、图片内容总结、图片问题回答、解释图片、图片生成代码支持所有模态（文本、代码、图片、音频、视频）的交叉输入输出交互性交互性只可以进行人类的对弈操作GPT-4在不同风格和角色模仿上，完成度相当高。更加人性化可以模仿任何性格特征并不被发现“冒充”记忆性记忆性token限制为4,096 个，大约 8,000个单词可处理超过25,000字的文本。最大token数量为 32,768，相当于64,000个单词具备长期记忆性，但是懂得“遗忘”掉不重要的信息以及整合重复信息来减少资源使用准确性准确性有一定事实式错误，幻觉，也就是一本正经胡说八道。逻辑能力大幅提升，显著减少幻觉。在九类事实性评估测试中准确得分比GPT-3.5高40%：不会胡说八道，对于模糊任务懂得引导或反驳来保证正确安全性安全性GPT-4比GPT-3.5模型在有害信息的输出上少15%：与GPT-3.5相比，我们将模型响应不允许内容请求的趋势降低了82%，不会超出在约束的边界，表现滴水不漏，但是内在黑箱的可解释性会更差学习性学习性基础模型+RLHF（人工反馈强化学习）可预测深度学习堆栈：GPT-4项目的一大重点是构建一个可预测的深度学习堆栈。使用相同的方法训练的模型进行推断，但使用的计算量为1/10000。有目的地自主学习，会自己创造数据，参与与真实世界的交互来实践验证扩展性扩展性有一定的API接口充分的API接口，开放插件可扩展到任意网络终端并且拥有与真实世界交互的实体请务必阅读正文之后的免责声明及其项下所有内容目录目录1 1.GPT.GPT带动带动AIGCAIGC技术革命技术革命，驱动海外互联网软件产业巨大变革驱动海外互联网软件产业巨大变革 1）GPT的发展背景：全球AI产业厚积薄发，OpenAI技术突破 2）AIGC技术已对海外互联网软件产业链带来巨大变化 3）展望：多模态应用、GPT插件等有望带来更大的变革2.2.核心变量核心变量大模型：国内大厂加速布局，成熟大模型落地前景可期大模型：国内大厂加速布局，成熟大模型落地前景可期 1）从GPT看大模型的核心竞争要素：算力、算法、数据、生态 2）从中美差异看国内大模型发展路线：国内大厂加紧追赶，模型与应用齐头并进3.3.应用展望：从海外路径看国内发展应用展望：从海外路径看国内发展 1）海外应用：AIGC应用百花齐放 案例：办公写作、搜索、教育、对话社交、游戏、金融、电商、图片视频 2）海外经验：“AI赋能”or“被AI替代”？3）国内应用：有待成熟大模型落地，巨大效率提升下机遇与挑战并存 国内头部互联网企业应用落地场景分析4.4.投资投资策略与重点策略与重点标的标的：1）大模型及相关生态：百度领先，关注阿里、腾讯、字节、华为等 2）垂直应用领域：海外关注微软，国内关注腾讯、阿里、百度及垂直领域有高质量数据与场景的优质企业5.5.风险因素风险因素：技术进展低于预期，竞争超预期，内容、数据与技术监管风险，中美科技竞争风险请务必阅读正文之后的免责声明及其项下所有内容2.12.1研究的切入点研究的切入点大模型：大模型：AIGCAIGC产业链发展的前提与核心要素产业链发展的前提与核心要素 功能相对成熟的大模型是下游应用的基础和前提，现阶段海外功能相对成熟的大模型是下游应用的基础和前提，现阶段海外GPTGPT模型驱动应用快速发展，国内等待成熟大模型落地模型驱动应用快速发展，国内等待成熟大模型落地 类操作系统类操作系统 大模型可类比为操作系统等数字基础设施，这些领域先发优势明显、头部垄断效应极强，开发者和其生态可以有很强的壁垒；类智能类智能终端终端 大模型可以使自然语言和计算机语言的流畅交互，让自然对话变成操纵机器的新形式。新的交互模式是定义下一代终端的机会。类搜索入口类搜索入口 大模型可类比为搜索入口，搜索的用户粘性和使用习惯极强，一旦调和大模型灵活性、准确性、时效性之间的矛盾；现阶段 以 GPT为代表的基础模型作为第一驱动带领了整个AGI产业链的发展，作为核心AI能力的供给占据价占据价值链中最主要的环节值链中最主要的环节；1短期内 大模型能力边界与适用性还大模型能力边界与适用性还在不断的拓宽在不断的拓宽，不仅在迭代速度上领先一众小模型，还呈现出下下探到更多下游产业链探到更多下游产业链以及更加细分垂直领域的能力，围绕着大模型的生态建设如火如荼；2中长期 随着大模型的能力和发展速度趋稳，大模型的竞争格局、优劣势以及上下游生态趋于稳定，应用层也许出现现象级消费应用以及垂类领域新龙头，大模型将大模型将持续持续受益受益于中下游反哺。于中下游反哺。3大模型的技术类比可以看出头部大模型的市场优势地位类类公有云公有云 大模型可以看做一个通用的智能平台，可以持续为下游应用提供 AI 能力，作为大模型生态的底座其收费方式按照Token计算，计算资源收费模式类似公有云。公有云市场也是头部占优的市场格局；请务必阅读正文之后的免责声明及其项下所有内容2.12.1大模型成功的四要素：算力、算法、数据、生态大模型成功的四要素：算力、算法、数据、生态生态生态先发构筑产品生态、用户心智以及提升产品力数据数据决定了大模型的生成结构提升模型能力与准确率的前提数据来源决定了模型的适用范围算法算法大模型底层的运作原理方法从理论到应用有一定的工程部署难度需要持续迭代优化算力算力大模型庞大数据处理的先决条件决定大模型迭代效率的主要影响因素请务必阅读正文之后的免责声明及其项下所有内容 AIAI大模型规模庞大，依赖强大的计算资源，全球芯片计算性能持续提升成为大模型规模庞大，依赖强大的计算资源，全球芯片计算性能持续提升成为GPTGPT成功落地的重要基础。成功落地的重要基础。英伟达为代表的英伟达为代表的AIAI产品性能持续进步。产品性能持续进步。参数方面，从V100（2017年上市）到H100（2022年上市）计算性能提升3倍以上而单位功耗显著优化。GTC2023上，英伟达CEO黄仁勋称H100配有Transformer引擎，可以专门用作处理类ChatGPT的AI大模型，其服务器效率是A100的10倍。黄仁勋在2023年2月财报会中表示“过去十年，通过提出新处理器、新系统、新互连、新框架和算法，并与数据科学家、AI 研究人员合作开发新模型，已使大语言模型的处理速度提高了100万倍。”AIAI芯片性能显著提升，成为近年大模型涌现的算力基础。芯片性能显著提升，成为近年大模型涌现的算力基础。2020年OpenAI推出的GPT-3大模型包含1750亿参数，训练成本达到了1200万美元，如果采用单片V100需要训练超过300年，而多模态预训练大模型GPT-4预计规模更大，谷歌近期发布的PaLM-E 包含5620亿参数。如此庞大的模型如果没有先进算力基础，训练耗时和成本将成为不可承受之重。图：英伟达最近三代AI服务器芯片主要参数对比资料来源：英伟达产品介绍图：近年主要模型参数规模情况资料来源：ChatGPT、Meta、Google2.1 2.1 从从GPTGPT看大模型的核心竞争要素看大模型的核心竞争要素算力算力V100A100H100FP647TFLOPS9.7TFLOPS26TFLOPSFP3214TFLOPS19.5TFLOPS51TFLOPSGPU显存32/16GB80GB80GBGPU显存带宽900GB/s1935GB/s2TB/s最大设计功耗250W300W300-350WInterconnectNVLink:300GB/sPCIe:32GB/sNVLink:600GB/sPCle:64GB/sNVLink:600GB/sPCle:128GB/s请务必阅读正文之后的免责声明及其项下所有内容2.1 2.1 从从GPTGPT看大模型的核心竞争要素看大模型的核心竞争要素算法算法 过去几十年的过去几十年的AIAI理论持续积累完善，以及理论持续积累完善，以及GPTGPT本身几代模型算法的持续迭代优化，最终才积累出能力出色的本身几代模型算法的持续迭代优化，最终才积累出能力出色的C ChatGPThatGPT。从基于规则的算法到用于分类的机器学习，再到可训练的深度神经网络，AIAI技术把任务的复杂性从函数复杂转向了拓技术把任务的复杂性从函数复杂转向了拓扑结构复杂，扑结构复杂，Transformer注意力机制进一步拟合人脑学习方式，最终实现自然语言处理任务突破性进展。海量的学习数据、海量的学习数据、大模型、无监督学习（强化学习）、无监督学习（强化学习）、人对结果的反馈反馈成为学习过程的一部分1950年开始少量数据无法处理线性不可分的数据基于规则基于规则开始当前需要特征提取特征提取主要用SVM或聚类分类固定量数据分类固定量数据分类猫和狗机器学习机器学习像人脑一样学习开始尝试大量数据大量数据提前标记提前标记一些数据根据大量数据分类学习一个复杂的参数集合神经网络神经网络注意力机制注意力机制关注重点关注重点而非全部大模型时代Google提出TransformerTransformer1.17亿参数有一定的泛化能力，能够用于和监督任务无关的 NLP 任务中GPT-115亿参数理解能力+生成方面表现出了强大的天赋:GPT-21750亿参数自监督模型，可以完成自然语言处理的绝大部分任务GPT-3参数更多（未知）引入多模态功能，更强的记忆性与更好的理解能力GPT-4请务必阅读正文之后的免责声明及其项下所有内容2.1 2.1 从从GPTGPT看大模型的核心竞争要素看大模型的核心竞争要素数据数据 有规模与质量的数据要素是大模型的核心前提有规模与质量的数据要素是大模型的核心前提CChatGPThatGPT训练数据达到训练数据达到45TB45TB，同时基于人类反馈数据提升性能。，同时基于人类反馈数据提升性能。从GPT的训练过程可以看出数据在大模型训练过程中的重要意义，强化学习过程是ChatGPT 效果区别于其他模型的主要原因。海量互联网数据海量互联网数据（45TB）TransformerGPT-1ChatGPT强化学习强化学习RLHF(符合人类逻辑的符合人类逻辑的高质量标注数据高质量标注数据)输入基础模型大模型反馈机制人类反馈数据仿真训练整个系统反馈(等价于真实世界)结构化到非结构化结构化到非结构化 结构化数据即数据格式与长度规范化的数据，数据量与信息含量较少，随着AGI能力以及学习需求提升，将会越来越多采用信息量更大的非结构化数据，包括图像、视频、3D（LiDAR、雷达等）、文本和音频等。数据环节自动化比例提升数据环节自动化比例提升 预计数据生产、采集、清洗、标注等环节自动化程度会提升，目前机器标注、自动驾驶影子模式等技术都是数据环节自动化的例子。数据的自动化也包括机器独立与真实世界交互产生数据的过程。未来除了新的场景与新的事物需要人工参与数据环节，在成熟场景的数据自动化程度会很高。高质量反馈数据决定性能高质量反馈数据决定性能 GPT训练的RLHF数据与其他阶段的简单标注数据不同，需要非常专业的问题、指令以及符合人类逻辑与表达的高质量的答案。据称 OpenAI 内部招了几十名 PhDs 来做该数据的标注以及质量检测，Scale 作为 标注供应商，也招聘了几十名 PhDs提供此类服务。高质量垂类数据决定壁垒高质量垂类数据决定壁垒 在大模型架构基本稳定之后，模型竞争的核心差异点在于训练数据的独特性。在垂直场景、业务的数据质量决定了模型在该领域的表现，如：BloombergGPT凭借3630亿个标签的金融领域数据集FINPILE在该领域任务中表现远超其他模型。数据环节的演进特点请务必阅读正文之后的免责声明及其项下所有内容 GPTGPT产品的先发与生态构筑，已成为其重要的竞争优势。产品的先发与生态构筑，已成为其重要的竞争优势。1）先发构筑用户心智与使用习惯（类似搜索引擎），据similarweb，ChatGPT网站2023年2月用户访问数超10亿次，独立访客数超1.5亿，随着产品功能持续完善，AIGC模型本身有望成为超级流量入口，与用户在各种场景直接交互。2）数据是大模型关键要素，通过先发构筑生态，GPT获取更多的场景与用户数据训练，助力产品力领先，目前GPT回答问题的准确率、质量整体领先于其他模型。3）大量互联网与软件应用积极与GPT融合，一旦生态构筑，面临迁移成本，一定程度上类似操作系统的生态。ChatGPT月访问量资料来源：Similarweb2.12.1从从GPTGPT看大模型的核心竞争要素看大模型的核心竞争要素生态生态ChatGPT插件初步生态资料来源：ChatGPT请务必阅读正文之后的免责声明及其项下所有内容2.2 2.2 中美产业链异同中美产业链异同：国内大模型环节是工程问题而非技术问题：国内大模型环节是工程问题而非技术问题 底层技术并未卡脖子底层技术并未卡脖子：大模型技术虽有一定门槛，但对于大厂而言上述竞争要素（算力、数据、算法）并非构成绝对壁垒上述竞争要素（算力、数据、算法）并非构成绝对壁垒；国内大模型表现基本过关国内大模型表现基本过关：国内大模型相继发布，表观的产品能力表现看，已接近已接近GPT3GPT3的水平并且在不断地迭代提升；的水平并且在不断地迭代提升；生态决定大模型的生命周期生态决定大模型的生命周期：国内基本在同一起跑线，前期进展有先后，但长期壁垒门槛将弱化，未来应用落地或更重要；海外国内可以使用全球最顶尖芯片（H100及下一代推理卡），英伟达订单占台积电12寸晶圆总产能低于5%，长期看AI芯片供给侧不是瓶颈，考虑AI芯片附加值高、价格高昂，长期需求更多是经济与成本问题。算力算力训练端，全球芯片性能持续提升，国内大厂A100有储备，性能略低的A800可以继续供给；推理端，大规模落地需要的推理芯片相对门槛低，自研、CPU等可承接，且目前也未限售。GPT3训练算力折合成成本在千万美元级，因此对大厂而言不算绝对壁垒。基于Transformer的深度学习与强化学习技术完善的团队与AI工程能力算法算法技术路径相对成熟确定(Transformer等)开源模型(GPT2、Meta-LLaMA等)OpenAI GPT3大模型训练语料4000亿token，其中公开（爬虫、网页）语料占比超过90%；英文等语料丰富，ChatGPT 训练的英文资料占比为92.64708%，中文资料为0.09905%；数据数据目前可以找到的公开外文语料丰富，可以满足模型训练；中文语料规模与质量上不如英文语料，但各家企业或机构里有一定量的中文业务数据资源；OpenAI：GPT系列大模型，ChatGPT应用；Google:PaLM大模型、应用Bard（表现不输ChatGPT）；Meta：LLaMA大模型，已经开源；现状现状/进展进展目前国内已发布模型虽不如GPT4，但呈现出的基础功能已基本过关：百度：文心大模型、应用文心一言；阿里：通义大模型、应用通义千问；商汤：日日新大模型、应用商量等；请务必阅读正文之后的免责声明及其项下所有内容商汤日日新大模型秒画SenseMirage生成图资料来源：商汤科技 近期有积累的大厂密集发布相关模型，新成立的大模型企业尽管“从头开始”也披露进展顺利、预计年内发布产品。相关产业方与资本方也对各模型进行较多的测试，整体来看，头部厂商大语言模型所呈现的能力较好：1）海外厂商方面，通过不同类型问题测试，目前谷歌Bard在语言方面呈现的能力接近NewBing（调用GPT-4大模型），正确率与质量均较高；2）国内厂商方面，百度阿里大模型虽然与GPT4尚有差距，但整体呈现的语义能力基本过关。Bard与Newbing问题测试对比（真格基金问题清单）资料来源：Bard、Newbing测试结果，国信证券研究部整理2.2 2.2 表观：谷歌表观：谷歌B Bardard能力接近能力接近N NewewB Binging，百度阿里基本功能过关百度阿里基本功能过关阿里模型语言能力资料来源：阿里大模型百度模型语言能力资料来源：百度大模型请务必阅读正文之后的免责声明及其项下所有内容2.2 2.2 中美产业链异同：国内模型与应用双引擎带动产业链发展中美产业链异同：国内模型与应用双引擎带动产业链发展 大模型成熟才能赋能下游应用吗？大模型成熟才能赋能下游应用吗？不同能力的大模型有不同的驱动力，下游应用的落地也需要时间。海外GPT4大模型能力突出，微软凭借率先接入的优势推出产品，其余商业化路径仍在探索，国内则大模型到应用呈现齐头并进的趋势。大模型一定要通用吗？大模型一定要通用吗？通用大模型难度更高，国内大厂很可能凭借业务数据优势、有所侧重的优化大模型，服务于产品功能优化、建立数据飞轮，从而将大模型更好地整合入自身技术栈与生态，变成有场景侧重的基本通用大模型。海外海外国内国内GPT等大模型能力突出，海外应用微软领先，其余行业领域仍在探索商业化路径；应用应用国内的大模型到应用呈现齐头并进的趋势，迭代大模型同时积极探索和研发垂直领域的商业化应用；OpenAI是人工智能的研究公司，其技术的优势与愿景都在于提高模型的性能来解决更多的通用人工智能问题；海外大模型发展路径预估：通用垂类大模型大模型路径预估路径预估技术的进步需要商业化兑现，而大厂丰富的业务场景数据给模型的训练、落地、迭代提供了优质土壤。目前大厂大模型已有类似特点，百度大模型文本任务表现更好，商汤大模型优于图像处理。阿里要将通义大模型接入自身所有产品。国内大模型发展预估：基础通用垂类通用（通用）大模型大模型生态生态（目前）（目前）文心文心一言一言 阿里阿里通义通义 华为华为盘古盘古 腾讯腾讯混元混元 大厂各自为伍请务必阅读正文之后的免责声明及其项下所有内容目录目录1 1.GPT.GPT带动带动AIGCAIGC技术革命技术革命，驱动海外互联网软件产业巨大变革驱动海外互联网软件产业巨大变革 1）GPT的发展背景：全球AI产业厚积薄发，OpenAI技术突破 2）AIGC技术已对海外互联网软件产业链带来巨大变化 3）展望：多模态应用、GPT插件等有望带来更大的变革2.2.核心变量核心变量大模型：国内大厂加速布局，成熟大模型落地前景可期大模型：国内大厂加速布局，成熟大模型落地前景可期 1）从GPT看大模型的核心竞争要素：算力、算法、数据、生态 2）从中美差异看国内大模型发展路线：国内大厂加紧追赶，模型与应用齐头并进3.3.应用展望：从海外路径看国内发展应用展望：从海外路径看国内发展 1）海外应用：AIGC应用百花齐放 案例：办公写作、搜索、教育、对话社交、游戏、金融、电商、图片视频 2）海外经验：“AI赋能”or“被AI替代”？3）国内应用：有待成熟大模型落地，巨大效率提升下机遇与挑战并存 国内头部互联网企业应用落地场景分析4.4.投资投资策略与重点策略与重点标的标的：1）大模型及相关生态：百度领先，关注阿里、腾讯、字节、华为等 2）垂直应用领域：海外关注微软，国内关注腾讯、阿里、百度及垂直领域有高质量数据与场景的优质企业5.5.风险因素风险因素：技术进展低于预期，竞争超预期，内容、数据与技术监管风险，中美科技竞争风险请务必阅读正文之后的免责声明及其项下所有内容3.1 3.1 类类GPTGPT技术的强大能力，驱动各行业相关应用百花齐放技术的强大能力，驱动各行业相关应用百花齐放 ChatGPT不仅仅是对话机器人，本质是完成以对话为交互形式发布的任务。协助协助/代替人类进代替人类进行生产操作行生产操作 生活助手生活助手 编程辅助编程辅助金融金融搜索搜索推荐助手推荐助手信息总结信息总结快速信息获取快速信息获取教人类学习教人类学习教育类助手教育类助手新手指导新手指导文本编辑、生成文本编辑、生成图片编辑、生成图片编辑、生成音频模仿音频模仿、音乐生成、音乐生成视频编辑、生成视频编辑、生成3D建模建模生成有价值的内容生成有价值的内容 客服客服 虚拟形象虚拟形象 交互终端交互终端流畅的对话流畅的对话设计设计GPT什么都能聊的机器人什么都能聊的机器人强大的语言能力强大的语言能力缜密的逻辑推理缜密的逻辑推理完善的认知体系完善的认知体系丰富的接口生态丰富的接口生态电商电商办公办公游戏游戏社交社交请务必阅读正文之后的免责声明及其项下所有内容3.1 3.1 案例：办公软件案例：办公软件+AI+AI，大幅提升办公自动化效率，大幅提升办公自动化效率资料来源：微信公众号“混迹互联网的文科生”举例举例：根据文档中的数据起草项目提案；把文档中第三段更简洁；根据这个提纲创建一个草案；分析数据表格中的数据，创建强大的可视化效果。举例：举例：按渠道和类型细分销售情况；假如成本减少5%，利润会增加多少，对毛利有多大影响；对选中数据生成可视化图表将文档转成PPT，或者通过输入你的要求自动来调整PPT布局、格式或者生成演示动画。举例举例：幻灯片添加动画；将这三个项目符号重新格式化为三列，每列都有一张图片；用 文档创建包含五张幻灯片的演示文稿；处理复杂邮件，呈现主要内容。自动回复邮件。举例：举例：总结一下上周错过的电子邮件；起草一份感谢他们的回复，并询问他们邮件中第二点和第三点的具体内容；邮件通知大家；在编辑Word的时候一起编写、编辑、总结并创作；Copilot+WordCopilot+ExcelCopilot+PPTCopilot+Outlook 办公软件是人员处理文本等内容的工具，而类办公软件是人员处理文本等内容的工具，而类GPTGPT技术大幅提升语言文本处理效率，提升办公效率与体验技术大幅提升语言文本处理效率，提升办公效率与体验 微软将Copilot融入Office办公软件，包括Word、Excel、PowerPoint、Outlook、Teams等，演示产品效果出色请务必阅读正文之后的免责声明及其项下所