AIGC算力时代系列报告-ChatGPT研究框架.pdf

2023年2月14日ChatGPT研究框架【AIGC算力时代系列报告】行业评级：看好证券研究报告分析师陈杭李佩京姚天航张建民研究助理安子超邮箱 邮箱证书编号S1230522110004S1230522060001S1230522010001S1230518060001 添加标题95%摘要2【芯片算力】芯片需求=量 x 价，AIGC拉动芯片产业量价齐升。1）量：AIGC带来的全新场景+原场景流量大幅提高；2）价：对高端芯片的需求将拉动芯片均价。ChatGPT的“背后英雄”：芯片，看好国内GPU、CPU、FPGA、AI芯片及光模块产业链。相关标的：海光信息、景嘉微、龙芯中科、中国长城、安路科技、复旦微电、紫光国微、寒武纪、澜起科技、德科立、天孚通信、中际旭创。【深度学习框架】深度学习框架是人工智能算法的底层开发工具，是人工智能时代的操作系统，当前深度学习框架发展趋势是趋于大模型训练，对深度学习框架的分布式训练能力提出了要求，国产深度学习框架迎来发展机遇。相关标的：百度、海天瑞声、商汤科技、微软、谷歌、Meta。【深度学习大模型】ChatGPT是基于OpenAI公司开发的InstructGPT模型的对话系统，GPT系列模型源自2017年诞生的Transformer模型，此后大模型数量激增，参数量进入千亿时代，国内百度也发布了ERNIE系列模型并有望运用于即将发布的文心一言（ERNIE Bot）对话系统，未来国内厂商有望在模型算法领域持续发力。相关标的：百度、科大讯飞、商汤科技、谷歌、微软。【应用】ChatGPT火爆全球的背后，可以窥见伴随人工智能技术的发展，数字内容的生产方式向着更加高效迈进。ChatGPT及AIGC未来有望在包括游戏、广告营销、影视、媒体、互联网、娱乐等各领域应用，优化内容生产的效率与创意，加速数实融合与产业升级。相关标的：百度、腾讯、阿里巴巴、网易、昆仑万维、阅文集团、捷成股份、视觉中国、风语筑、中文在线、三七互娱、吉比特、天娱数科。【通信】AIGC类产品未来有望成为5G时代新的流量入口，率先受益的有望是AIGC带来的底层基础算力爆发式增长。相关标的：包括算力调度（运营商）、算力供给（运营商、奥飞数据、数据港）、算力设备（浪潮信息、联想集团、紫光股份、中兴通讯、锐捷网络、天孚通信、光库科技、中际旭创、新易盛）、算力散热（英维克、高澜股份）。mNpMqQpPyQpRsPmQoOmQpM8OcM8OmOoOoMmPjMqQtRiNmNnQ8OqRtPwMqMpMuOqRpN1、芯片算力3算力需求爆发拉动芯片量价齐升量价芯片需求光模块和光芯片AI芯片（加速器）GPUCPUFPGAAI光模块ChatGPT完美运行训练数据模型算法算力模型迭代Transformer技术算力需求增加英伟达GPU A100模型训练成本1200万美元AI训练计算需求预计每3.5个月翻一番1万颗芯片需求快速增加芯片均价大幅提升通过AI服务器实现资料来源：浙商证券研究所4人工智能四层架构，芯片为底层支撑5底层芯片深度学习框架大模型上层应用CPUGPUFPGAASIC百度：PaddlePaddleMeta：PyTorch谷歌：TensorFlow华为：MindSporeOpenAI：GPT3.5华为：盘古大模型AIGCAI音乐：DeepMusicAI绘画：盗梦师AI写作：弈写ChatGPT百度：文心大模型谷歌：PaLM资料来源：澜舟科技，IDC，量子位，电子发烧友等，浙商证券研究所人工智能不同计算任务需要各类芯片实现资料来源：Huawei forum，浙商证券研究所CPUGPUFPGAAI用ASIC通用性强，应用方便性能更优，能效更高强大的调度、管理、协调能力；应用范围广开发方便灵活 逻辑判断 任务调度与控制并行架构计算单元多适合大量逻辑确定的重复计算 模型训练成本低能耗低性能强针对AI设定特定架构 成熟量产阶段 研发阶段 数据中心 AI推理低延时开发周期短硬件可根据需求调整成本和壁垒高6ChatGPT流量激增，为AI服务器带来重要发展机遇7资料来源：Sensor Tower，World of Engineering，头豹研究院，华经产业研究院，浙商证券研究所原场景流量提升+新应用场景服务器算力要求提升AI服务器需求增加达成1亿月活跃用户耗时2个月9个月30个月54个月60个月78个月史上用户增速最快消费级应用应用原场景流量提升创造新应用场景ChatGPT在问答模式的基础上进行推理、编写代码、文本创作等，用户人数及使用次数均提升。智能客服智能音箱陪伴型机器人游戏NPC内容生产传统CPU服务器通用性较强，专用性较弱数据的质和量发生变化,非结构化数据占比激增算力无法满足AI服务器需求终端用户使用频率提高，数据流量暴涨，对服务器的数据处理能力、可靠性及安全性等要求相应提升CAGR=18.8%122亿美元288亿美元20202025全球AI服务器市场规模ASICAI服务器快速增长，大力拉动芯片需求8资料来源：IDC，2022-2023中国人工智能计算力发展评估报告，芯八哥，wind，浙商证券研究所整理0%10%20%30%40%50%60%70%80%90%100%2020202120222023202420252026训练推理GPU,89.0%NPU,9.6%ASIC,1.0%FPGA,0.4%新华三/HPE,15.6%戴尔,15.4%浪潮,8.9%联想,6.4%华为,1.1%ODM,35.5%其他,17.1%浪潮,30.7%新华三/HPE,17.5%戴尔,7.5%华为,7.4%联想,6.6%ODM,8.5%其他,21.8%中国人工智能服务器工作负载预测2021年全球服务器市场格局2021年中国服务器市场格局2022年中国人工智能芯片市场规模占比AI服务器=？CPU+异构形式GPUFPGA或或AI服务器芯片构成CPU+加速芯片9CPU+加速芯片：通常搭载GPU、FPGA、ASIC等加速芯片，利用CPU与加速芯片的组合可以满足高吞吐量互联的需求自然语言处理计算机视觉训练（算力 30TOPS）推理（算力 30TOPS）计算（530TOPS）芯片种类优点缺点GPU提供了多核并行计算的基础结构，核心数多，可支撑大量数据的并行计算，拥有更高浮点运算能力管理控制能力弱，功耗高FPGA可以无限次编程，延时性较低，拥有流水线并行（GPU只有数据并行），实时性最强，灵活性最高开发难度大，只适合定点运算，价格比较昂贵ASIC与通用集成电路相比体积更小，重量更轻，功耗更低，可靠性提高，性能提高，保密性增强，成本降低灵活性不够，价格高于FPGAAI服务器应用领域应用场景机器学习高度适配资料来源：华经产业研究院，亿欧智库，浙商证券研究所CPU擅长逻辑控制，可用于推理/预测0110资料来源：CSDN，浙商证券研究所整理控制单元存储单元运算单元控制指令数据整个CPU的指挥控制中心，由指令寄存器IR、指令译码器ID和操作控制器OC等组成。暂时存放数据的区域，保存等待处理或已经处理过的数据。执行部件，运算器的核心。可以执行算术运算和逻辑运算。运算单元所进行的全部操作都是由控制单元发出的控制信号来指挥。优势劣势作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元。控制指令CPU有大量的缓存和复杂的逻辑控制单元，擅长逻辑控制、串行的运算。计算量较小，且不擅长复杂算法运算和处理并行重复的操作。在深度学习中可用于推理/预测取指令指令译码执行指令修改指令计数器CPU运行原理服务器CPU向多核心发展，满足处理能力和速度提升需要11资料来源：芯论语，半导体产业纵横，AMD官网，浙商证券研究所英特尔从单核到多核AMD从双核到96核200520102017奔腾D系列酷睿i7-980X酷睿i92020Lakefield史上第一个双核处理器首款6核处理器18核处理器首款采用混合架构的x86 5核处理器200520072018Athlon 64 X2Phenom9500第二代锐龙Threadripper2020锐龙Threadripper3990X同一块芯片内整合两个K8核心首款原生4核处理器最大核心数量已达到32核拥有64核单核心CPU串行单任务处理“一心一用”分时多任务处理“一心多用”多核心CPU“多心多用”处理的任务更多、处理速度更快分时多任务处理系统性能优劣不能只考虑CPU核心数量，还要考虑操作系统、调度算法、应用和驱动程序等。2023Sapphire Rapids拥有56个核心2023霄龙9004核心数量最多可达96个95%GPU高度适配AI模型构建12AI模型构建（以英伟达A100为例）资料来源：英伟达官网，镁客网，腾讯网，浙商证券研究所训练过程推理过程多实例 GPU(MIG)技术允许多个网络同时基于单个 A100 运行，从而优化计算资源的利用率。在 A100 其他推理性能增益的基础之上，仅结构稀疏支持一项就能带来高达两倍的性能提升。在 BERT 等先进的对话式AI 模型上，A100可将推理吞吐量提升到高达 CPU 的 249 倍；ChatGPT引发GPU热潮百度：即将推出文心一言（ERNIE Bot）苹果：引入AI加速器设计的M2系列芯片（M2 pro和M2 max）将被搭载于新款电脑OpenAI：随着ChatGPT的使用量激增，OpenAI需要更强的计算能力来响应百万级别的用户需求，因此增加了对英伟达GPU的需求AMD：计划推出与苹果M2系列芯片竞争的台积电4nm工艺Phoenix系列芯片，以及使用Chiplet工艺设计的Alveo V70AI芯片。这两款芯片均计划在今年推向市场，分别面向消费电子市场以及AI推理领域GPU的并行计算高度适配神经网络GPU帮助高速解决问题：2048 个 A100GPU 可在一分钟内成规模地处理 BERT 之类的训练工作负载；0.7X3XV100FP161XA100 40GBFP16A100 80GBFP161X249XCPU Only245XA100 40GBA100 80GBFPGA：可通过深度学习+分布集群数据传输赋能大模型资料来源：ofweek，摩尔星球，C114，知识产权课堂，亿欧智库，浙商证券研究所FPGA可编程灵活性高：半定制电路，理论上可以实现任意ASIC和DSP的逻辑功能开发周期短：可通过设计软件处理布线、布局及时序等问题。现场可重编功能：可以远程通过软件实现自定义硬件功能。低延时：逻辑门通过硬件线连接，不需要时钟信号方便并行计算：集成了大量基本门电路，一次可执行多个指令算法深度学习通信接口异构计算、并行计算数据高速收发、交换推理Intel，AMD(Xilinx)，亚马逊，微软，百度，阿里，腾讯AMD(Xilinx)训练Intel，AMD(Xilinx)/数据中心边缘端13ASIC可进一步优化性能与功耗，全球巨头纷纷布局14随着机器学习、边缘计算、自动驾驶的发展，大量数据处理任务的产生，对于芯片计算效率、计算能力和计能耗比的要求也越来越高，ASIC通过与CPU结合的方式被广泛关注，国内外龙头厂商纷纷布局迎战AI时代的到来。国内外ASIC芯片龙头布局国外谷歌：张量处理器TPU国内最新的TPU v4集群被称为Pod，包含4096个v4芯片，可提供超过1 exaflops的浮点性能英伟达：GPU+CUDA阿里巴巴：含光800AI芯片硬件：自研芯片架构；软件：集成达摩院先进算法，可实现大网络模型在一颗NPU上完成计算。百度：昆仑2代AI芯片采用全球领先的7nm 制程，搭载自研的第二代 XPU 架构，相比一代性能提升2-3倍；昆仑芯3代将于2024年初量产。华为：昇腾910业界算力最强的AI处理器，基于自研华为达芬奇架构3D Cube技术；主要面向大型数据密集型 HPC 和 AI 应用；基于 Grace 的系统与 NVIDIA GPU 紧密结合，性能比NVIDIA DGX 系统高出 10 倍；Habana（Intel收购）已推出云端 AI 训练芯片 Gaudi 和云端 AI 推理芯片 Goya；资料来源：机器之心，华为官网，半导体产业纵横，公开资料整理，浙商证券研究所数据传输速率：容易被忽略的算力瓶颈资料来源：Google Scholar，并行处理中节点间通信对加速比的影响，浙商证券研究所算力需求：超摩尔发展算力供给：芯片提升+并行计算并行瓶颈：数据传输速率模型发布时间算力（FLPOs）深度学习之前深度学习时代大模型时代20个月翻倍（近似摩尔定律）5-6个月翻倍（远超摩尔定律）AI时代模型算力需求以超过摩尔定律增长数据中心通过交换机网络实现设备互联15理论加速比实际加速比通信延时导致加速放缓并行计算节点数加速比数据传输核心器件：光模块资料来源：中际旭创年报，光纤在线，电子发烧友，华经情报网，浙商证券研究所光模块电信数通数据中心内部数据中心互联骨干城域接入32.6%67.4%数据中心占光模块一半以上市场(2021Q4)发射器件接收器件电信号驱动电路激光器（内含光芯片）探测器（内含光芯片）放大器光纤传输电信号电信号光信号电信号光模块包含发射器件和接收器件，光纤通信时的光电转换光模块向高速传输发展，以顺应数据传输量增长趋势161x9、GBIC1995-20002000-20102010-2020SFP、XFPQSFP、CFP、COBO2020之后QSFP-DD、OSFP-XD10G40G400G800、1.6T硅光技术相干技术光电共封装技术（CPO）服务器CPU需求增长，国化产三条发展路线17资料来源：IDC，wind，浙商证券研究所整理CISCX86架构RISCARM架构MIPS架构MIPS架构IP内核授权指令集架构授权授权+自主研制指令集龙芯中科申威科技上海兆芯海光信息华为鲲鹏天津飞腾自主化程度：低，未来扩充指令集难度较大，但生态迁移成本小、性能高缺点：安全基础不牢靠自主化程度：较高，安全基础相对牢靠，拥有自主发展权缺点：生态构建较为困难自主化程度：极高，申威科技已基本实现完全自主可控缺点：生态构建极其困难中国服务器市场规模国产服务器CPU发展之路02000400060008000100001200020222023202420252026中国加速计算服务器市场预测（百万美元）服务器CPU市场格局AMD,9.80%英特尔,90.20%服务器CPU X86架构厂商份额未来算力升级路径：CHIPLET、存算一体18资料来源：知乎先进存算一体芯片设计（陈巍等），浙商证券研究所近期CHATGPT的兴起推动着人工智能在应用端的蓬勃发展，这也对计算设备的运算能力提出了前所未有的需求。虽然AI芯片、GPU、CPU+FPGA等芯片已经对现有模型构成底层算力支撑，但面对未来潜在的算力指数增长，短期使用CHIPLET异构技术加速各类应用算法落地，长期来看打造存算一体芯片（减少芯片内外的数据搬运），或将成为未来算力升级的潜在方式。2016AlphaGo(DeepMind)2019AlphaStar(DeepMind)2018BERT(Google AI)2020GPT-3(OpenAI)2021AlphaFold2(DeepMind)2022Gato(DeepMind)CPUGPU未来：存算一体？2023ChatGPT(OpenAI)游戏蛋白质结构大模型通用AI大算力未来：Chiplet？CHIPLET是布局先进制程、加速算力升级的关键技术19数据来源：芯智讯，浙商证券研究所能用能用够用好用13590nm6545nm28nm14nm7nm5nm3/2nm=+=123芯粒芯粒美国芯片法案ChipletChiplet芯粒+=功率模拟数字4G基站服务器L2+CPUGPUFPGAAI演算基带5GAI智能座舱L4+智驾AIGC、ChatGPT智能电车、无人驾驶智能座舱、VRARMR人工智能、5/6G手机+Chiplet异构技术不仅可以突破先进制程的封锁，并且可以大幅提升大型芯片的良率、降低设计的复杂程度和设计成本、降低芯片制造成本。Chiplet技术加速了算力升级，但需要牺牲一定的体积和功耗，因此将率先在基站、服务器、智能电车等领域广泛使用。CHIPLET已广泛应用于服务器芯片20资料来源：各公司官网，浙商证券研究所添加标题添加标题Chiplet服务器芯片AMD：EPYC 第1代至第4代英特尔：第14代酷睿 Meteor Lake华为海思：鲲鹏920寒武纪：云端AI芯片思元370 Chiplet服务器芯片的引领者，4代产品采用5nm 基于chiplet 的第一代AMD EPYC 处理器中，装载8 个“Zen”CPU 核，2 个DDR4 内存通道和32 个PCIe 通道，以满足性能目标。2022年AMD正式发布第四代EPYC处理器，拥有高达96颗5nm的Zen 4核心，并使用新一代的Chiplet工艺，结合5nm和6nm工艺来降低成本。首次采用 intel 4工艺，首次引入chiplet小芯片设计，预计将于23年下半年推出 至少性能功耗比的目标要达到 13 代 Raptor Lake 的 1.5 倍水平。基于7nm制程工艺，是寒武纪首款采用chiplet（芯粒）技术的AI芯片 集成了390亿个晶体管，最大算力高达256TOPS(INT8)，是寒武纪第二代产品思元270算力的2倍。内存带宽是上一代产品的3倍，访存能效达GDDR6的1.5倍。采用7nm制造工艺，基于ARM架构授权 由华为公司自主设计完成。典型主频下，SPECint Benchmark评分超过930。龙芯中科：龙芯3D5000（试验）面向服务器市场的 32 核 CPU 产品，通过Chiplet技术把两个 3C5000 硅片封装在一起，集成了32 个 LA464 处理器核和 64MB 片上共享缓存，22年末初样试验成功存算一体：打破“存储墙”限制，技术迭代演进21资料来源：知乎先进存算一体芯片设计（陈巍等），浙商证券研究所面对计算中心的数据洪流，数据搬运慢、搬运能耗大等问题成为了计算的关键瓶颈。从处理单元外的存储器提取数据，搬运时间往往是运算时间的成百上千倍，整个过程的无用能耗大概在60%-90%之间，能效非常低。算力发展速度存储发展速度存储墙限制“存储墙”成为了数据计算应用的一大障碍存算技术演进路线查存计算（Processing With Memory）近存计算（Computing Near Memory）存内计算（Computing In Memory）存内逻辑（Logic In Memory）GPU对复杂函数的运算最早期技术AMD的Zen系列CPU三星HBM-PIM千芯科技Mythic闪存知存TSMC千芯科技满足大模型计算精度要求存算一体：更大算力、更高能效、降本增效22资料来源：知乎先进存算一体芯片设计（陈巍等），浙商证券研究所计算单元计算单元计算单元计算单元控制单元缓存片外内存计算控制单元缓存计算计算计算计算控制单元缓存计算计算计算计算控制单元缓存计算计算计算片外内存控制单元存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算存算片外内存存算存算存算存算存算存算存算CPU一般10-100计算核心GPU一般万量级计算核心存算一体一般百万量级等效计算核心存算一体就是存储器中叠加计算能力，以新的高效运算架构进行二维和三维矩阵计算。存算一体的优势包括：（1）具有更大算力（1000TOPS以上）（2）具有更高能效（超过10-100TOPS/W），超越传统ASIC算力芯片（3）降本增效（可超过一个数量级）存算一体存储器中叠加计算能力，以新的高效运算架构进行二维和三维矩阵运算。存算一体的应用领域自动驾驶自然语言处理智慧城市商品推荐工业视觉医药计算个性化推荐多语言精准识别2、深度学习 框架23深度学习框架：人工智能时代的操作系统0224深度学习框架分布式硬件资源物理资源调度、I/O设备管理人工智能基础设施训练推理数据准备环境安装算法实现模型训练模型验证精度调试环境安装模型转换模型部署效果验证数据收集人工智能开发链条长且复杂开发者使用简单支持AI领域的快速变化使用深度学习框架工具进行开发数据模型使用深度学习框架工具进行开发通用模型架构支持计算机视觉应用使用流行的编程语言GPU加速拓展包资料来源：北京日报、认知计算与云安全公众号、华为云深度学习框架：大模型训练和前端垂直化成为趋势0225资料来源：CSDN、伯禹人工智能学院、机器之心、中国计算机学会、知乎、简书、MAREK REI、磐创AI、浙商证券研究所2012201320152016201720182019202x2008蒙特利尔大学纽约大学多伦多大学AI 创业公司Skymind Joseph Redmon提出GoogleAmazonPreferred Networks微软百度Facebook微软Facebook商汤科技华为旷视科技清华大学系统设计简单模型配置文件非常不灵活多GPU的训练加速用户友好、更加灵活前端垂直化大型模型训练科技巨头入场，井喷式发展02国际主流深度学习框架：互联网巨头主导开发26国内外深度学习框架发布时间2013201420152016201720202020202x开发公司深度学习框架语言PythonLua，Python（new）C+PythonC+Lua，Python（new）PythonC+、CUDA、Python是否开源计算图静态静态动态动静兼容静态不依赖计算图动静合一是否是分布式框架特点/优点速度快、使用方便、社区好性能高、适合做语音任务高效灵活、易用容易上手简单清晰移动端高性能、通用轻便高效灵活、易用灵活高效资料来源：机器之心，知乎,CSDN Open AI：从多种框架的使用到专注于Pytroch02272015年Pytroch成为统一的深度学习框架深度模型框架转变便于调试：对 Python 生态的良好支持；大多数情况使用TensorFlow特殊情况使用Theano2020年简单易懂：PyTorch 具有用户友好的 API；原因核心功能支持GPU加速的张量计算方便优化模型的自动微分机制强大高效：Pytorch提供了非常丰富的模型组件。极大缩短研究周期资料来源：OpenAI官网Tensorflow：谷歌开源的向更加易用发展的主流学习框架02282017年2019年开源Tensorflow 0.1版本2015年采用CPU+GPU计算模型使得神经网络能够有效计算Tensorflow从0.1到2.0的发展历程202x年Tensorflow2.3发布添加两种新机制，解决输入管道瓶颈并节约资源Tensorflow2.0发布缺点：调试困难、API混乱、入门困难运用更简单的模型进行构建、简化PI优点：简化的模型开发流程、强大的跨平台能力、强大的研究发现缺乏调度能力，需手动配置Tensorflow1.0.0发布，稳定版诞生优点：更快、更灵活、随时就绪引入更高级的API，可在移动设备上运行发布版本改进之处优点缺点资料来源：腾讯云、CSDN、helloword、城市经济网ChatGPT实现路径：算力与框架支持，应用百花齐放0229资料来源：CSDN、电子工程世界、量子位、机器之心、专知、浙商证券研究所微软云AzurePyTorchTransformerGPT-3InstructGPT/GPT-3.5ChatGPTOpenAI的独家云提供商算力资源深度学习框架API 迭代更稳定易于使用模型Attention机制大模型参数少速度快效果好模型人类反馈强化学习RLHF对话AI模型人类反馈强化学习RLHF人工监督微调连续多轮对话承认自身错误质疑不正确的问题承认自身的无知Transfomer的Decoder 分支1750 亿个参数小样本学习能力无代码编程对话类搜索引擎小说生成语音陪伴语音工作助手对话虚拟人机器翻译人工智能客服分布式训练需求对深度学习框架提出更高要求0230模型大模型训练数据巨大训练模型的参数巨大日益增长的数据量落后的计算资源模型的复杂度深度学习框架支持分布式训练资料来源：CSDN、腾讯云开发者社区、知乎、浙商证券研究所数据并行参数平均法更新式方法模型并行intra-layer拆分inter-layer拆分3、深度学习大模型31Transformer延伸的四条线03GPT-1只有decoder，仅使用上文进行编码GPT-2模型更大，数据量更多GPT-3超大规模Transfo-rmerInstructGPTRLHFChatGPT资料来源：真格基金、知乎、各模型官网、arxiv.org、浙商证券研究所，注：先后顺序按照发布时间进行了重新排序OpenAI（微软）T5BART采用更加多样的noiseBERT只有encoder，同时使用上下文进行编码ERNIE 1.0知识增强的语义表示模型ERNIE 2.0持续学习语义理解模型ERNIE 3.0知识增强大模型文心一言百度对话程序对话程序谷歌谷歌FaceBookERNIE 3.0TITAN参数量大幅提升2018201920202022202220192019BigBird谷歌M2m-100FaceBook202020202018ROBERTa训练参数调整FaceBook2019XLMFaceBook2019ALBERT轻量化模型谷歌2019ELECTRA性能明显升级谷歌202020192019202120212023E201732大模型参数迈向千亿时代03332018Google BERT-base（1.1）Google BERT-Large（3.4）OpenAi GPT-1（1.2）百度 ERINE1.0Facebook XLM百度 ERINE2.0Facebook BARTGoogle ALBERT（0.31）OpenAi GPT-2 （15.8）Facebook RobertTa（3.35）NIVIDIA Megatron-LM （83）Google T5 （110）Google ELECTRA（1.02）Micrasoft Truning-NLG（172）Facebook M2m-100（150）Google BigBird（1750）OpenAi GPT-3（1758）Eleuther AI GPT-j（60）GLM（1300）百度 ERINE3.0（100）Google FLAN（1370）Naver Corp HyperCLOVA（2040）Google Gopher（2800）百度 ERNIE 3.0 Titan（2600）OpenAi InstructGPT（13）Meta AI OPT（1750）EleutherAI GPT-NeoX（200）Google LaMDA（2800）BigScience BLOOM（1760）Google PaLM（5400）微软和英伟达 Megatron-Turing NLG（5300）2019202020212022资料来源：真格基金、知乎、各模型官网、arxiv.org、电子工程世界、HuggingFace、浙商证券研究所，单位：亿2018-2022年大模型参数量 1亿-5400亿2020年：千亿参数转折点GPT-1GPT-2GPT-3InstructGPT论文年份2018201920202022Transformer层数124896-参数量1.2亿15.8亿1750亿13亿预训练数据量5GB40GB45TB-GPT模型仅保留Transformer的解码器，逐步升级层数和参数量0334Transformer架构GPT系列架构仅保留Decoder解码器Decoder解码器Encoder编码器资料来源：CSDN、电子工程世界、浙商证券研究所，注：GPT（Gererate Pre-Training Model）基于InstructGPT形成ChatGPT对话系统0335ChatGPTInstructGPTGPT-3代码训练指令微调（instruction tuning）基于人类反馈的强化学习（RLHF）参数数量降低了100倍（1750亿-13亿）增加Chat属性网页公众测试入口略微降低参数量资料来源：CSDN、电子工程世界、新智元、浙商证券研究所基于BERT衍生百度文心大模型，料将推出对话系统文心一言0336Transformer架构仅保留Encoder编码器Encoder编码器Decoder解码器BERT架构资料来源：CSDN、电子工程世界、浙商证券研究所，注：BERT（Bidirectional Encoder Representation from Transformers）基于BERT衍生百度文心大模型，料将推出对话系统文心一言0337ERNIE 1.0架构：改进了MLM任务ERNIE 2.0：+持续学习框架ERNIE 3.0、3.0TITAN：+参数量ERNIE版本1.02.03.03.0 TITAN论文年份2019201920212021参数量参考bert base(1.1亿)参考bert base(1.1亿)，bert large（3.4亿）100亿2600亿预训练数据量Wiki，baike，news，tiebawiki，news，dialogue，IR，discourse relation4TB-资料来源：黑马程序员、知乎、BaiduResearch、浙商证券研究所，注：ERNIE（Enhanced language Representation with Informative Entities）4、应用38ChatGPT的背后：技术驱动的数字内容新生产方式AIGC内容生产总量内容消费体验04PGC:Professionally-Generated Content内容生产总量较低单人/多人专业体验举例：长视频39专家生成内容用户生成内容UGC:User-GeneratedContent内容生产总量变多小规模多人交互举例：小红书、微博AI辅助生成内容AI生成内容AIUGC:AI-assistedGenerated Content内容生产总量大大规模沉浸交互举例：语音转文字协助纪要生成、百家号TTV协助新闻图文生成视频AIGC:AI-GeneratedContent内容生产总量巨大元宇宙式体验举例：ChatGPT、AI绘画、AI生成视频等数据来源：浙商证券研究所按技术场景，AIGC内容可分为文本、音频、图像、视频等04按技术场景划分AIGC内容分为文本生成图像生成音频生成视频生成跨模态生成策略生成Game AI虚拟人生成40数据、浙商证券研究所产业链逐步形成，玩家百花齐放，商业模式持续探索以ChatGPT为代表的AIGC行业，上游主要包括数据供给方、算法/模型机构、创作者生态以及底层配合工具等，中游主要包括文字、图像、音频、视频等数字内容的处理加工方，下游主要是各类数字内容分发平台、消费方及相关服务机构等。上游中游下游数据供给方（业务数据联通、素材数据收集等，如第三方营销公司、版权图库方等）数据分析及标注创作者生态生物资产及内容素材底层配合工具渲染引擎、混音设备等相关算法/模型研究机构相关开源算法嵌入/结合能力的业务平台/业务生态个性化市场营销广告植入、品牌虚拟形象打造、营销内容生成等自动实时交互数据梳理内外部数据分析及更新、数据分析及算法训练运营增效智能客服、简单决策等周边售卖NFT、个性化产品等内容制作工具音频/视频编辑工具、新闻采编、游戏制作等内容设计视觉设计、文案设计、结构设计等各内容创作及分发平台基于AICG激发PGC及UGC活力第三方分发渠道内容终端生产厂商新闻媒体机构、金融机构等消费品厂商AIGC内容检测第三方内容服务机构MCN公司、公关公司等0441数据来源：量子位、浙商证券研究所04数据来源：量子位、浙商证券研究所42应用领域广泛，核心价值在于优化内容生产的效率与创意01游戏02广告营销03影视04媒体05互联网06娱乐ChatGPTAIGC=提升内容生产效率让创作者拥有一个更加高效的智能创作工具，优化内容创作，大幅提升效率并降低成本；提升创作效率的同时，同样提升了反馈生成效率，有助于实现实时交互内容。其他07降低内容生产成本捕捉激发创作灵感联动实现数据优化AIGC能够代替人工完成声音录制、图像渲染、视频创作等工作，从而降低内容生产的成本与门槛，使更多用户能够参与到高价值的内容创作流程中。帮助有经验的创作者捕捉灵感，在设计初期生成大量草图，更好的理解创作需求并寻找创作灵感。海量数据提高创造性和开放性，激发创意认知、提升生产多样性。在与其他特定的数据库（例如实时更新数据、特定主体数据等）或AI系统进行联动后，AIGC能够实现更精准的未来预测或更个性化预测基础上调整生成内容。04数据来源：量子位、浙商证券研究所43ChatGPT/AIGC+游戏：推动游戏生产范式升级，行业新篇章1）对局陪伴。可陪伴玩家进行游戏，包括平衡匹配、冷启动、玩家掉线接管等。2）特定风格模拟。AI通过模仿职业选手，玩家则感觉像在与真实的职业选手对抗。3）玩法教学。与玩家在真实对战环境中交流协作，并在过程中向玩家传授职业级的策略与操作技术，帮助玩家迅速熟悉英雄操作与游戏玩法，提高游戏的可玩性。增加玩家游戏体验1）前期平衡性测试。AI bot可充分地模拟玩家在某一套数值体系下的游戏体验，提出优化策略，为玩家带来更加平衡的多样性游戏交互。2）游戏功能测试。通过AI bot针对性的找出游戏中所有交互的可能性，通过发现潜在漏洞辅助游戏策划。AI可以创造不同的面孔、服饰、声音甚至性格特征，甚至可同步驱动嘴型、表情等面部变化，达到高度逼真；并通过大量数据模拟人类运动，完成行走、跑步等一系列动作反应。AI智能NPC能够分析玩家的实时输入，与玩家动态交互，构建几乎无限且不重复的剧情，增强用户体验并延长游戏生命周期。让AI感知环境、自身状态并基于特定目标决定当下需要执行的动作，基于特定问题和场景，自主提出解决方案。游戏性能测试NPC角色AI生成NPC逻辑及剧情AI生成游戏策略生成游戏04数据来源：浙商证券研究所44ChatGPT/AIGC+广告营销：24小时虚拟客服，专业可靠智能03千人千面，个性化营销推荐ChatGPT可结合数据及客户的诉求，进行个性化推荐系统的应用给出用户的营销线索，实现更标准、更贴心的用户服务。01全天候24小时在线ChatGPT可作为AI驱动的虚拟客服，在广告营销领域为客户提供24小时全天候的客服服务，同时亦能减轻商家人工客服的营销成本。02稳定可靠，快速解答ChatGPT作为虚拟客服相比人工客服更加稳定可靠，能够快速解答客户问题、传递标准化营销话术等，并提升问题解答的准确程度。0445ChatGPT/AIGC+广告营销：内容智能生成，精准个性化营销数据来源：量子位、浙商证券研究所多模态广告智能制作AI可按广告主要求自动生成广告文案；亦可根据广告文案自动生成为广告海报、广告视频，大大降低了广告的制作成本。营销内容个性化AI生成系统与底层的客户数据系统进行数据联通，实时根据数据的反馈，对需求进行针对性调整，由AI快速迭代对营销内容进行更新，提升个性化营销的效率和精准性。多套广告营销解决方案生成AI可根据目标人群，进行素材分析、抠图、配色等项目，制作多种类型的广告文案/海报/视频，生成多套设计解决方案。04数据来源：中国信息通信研究院、量子位、1905电影网、浙商证券研究所46ChatGPT/AIGC+影视：赋能影视制作，提升作品质量影视剧本文稿创作通过对海量剧本数据进行分析归纳，并按照预设风格快速生产剧本，创作者再进行筛选和二次加工，激发创作者的灵感，缩短创作周期。提升影视剪辑、后期制作水平1）实现对影视图像进行修复、还原，提升影像资料的清晰度，保障影视作品的画面质量。2）实现影视预告片自动生成。3）实现将影视内容维度转制，从2D向3D自动转制。扩展角色和场景创作空间1）通过AI人脸合成、声音合成实现数字复活已故演员、替换“劣迹艺人”、演员角色年龄的跨越、高难度动作合成等，减少演员自身局限对影视作品的影响；2）通过人工智能合成虚拟物理场景，将无法实拍或成本过高的场景生成出来，拓宽影视作品想象边界，带来更优质的视觉效果和听觉体验。影视发行智能审核、用户端个性化推荐1）通过自然语言处理NLP