2023年AIGC生成式人工智能产业全梳理.pdf

请务必阅读正文之后的免责声明及其项下所有内容证券研究报告|2023年03月28日证券研究报告|2023年03月28日人工智能专题报告：证券分析师：熊莉S0980519030002行业研究 深度报告行业研究 深度报告投资评级：超配（维持评级）投资评级：超配（维持评级）生成式人工智能产业全梳理证券分析师：张伦可S0980521120004证券分析师：朱松S0980520070001证券分析师：库宏垚S0980520010001请务必阅读正文之后的免责声明及其项下所有内容报告摘要报告摘要人工智能作为第四次科技革命，已经进入2.0时代。人工智能作为第四次科技革命，已经进入2.0时代。人工智能概念于1956年被提出，AI产业的第一轮爆发源自2012年，2012年AlexNet模型问世开启了CNN在图像识别的应用，2015年机器识别图像的准确率首次超过人（错误率低于4%），开启了计算机视觉技术在各行各业的应用。但是，人工智能1.0时代面临着模型碎片化，AI泛化能力不足等问题。2017年Google Brain团队提出Transformer架构，奠定了大模型领域的主流算法基础，从2018年开始大模型迅速流行，2018年谷歌团队的模型参数首次过亿，到2022年模型参数达到5400亿，模型参数呈现指数级增长，“预训练+微调”的大模型有效解决了1.0时代AI泛化能力不足的问题。新一代AI技术有望开始全新一轮的技术创新周期。自18年起大模型快速流行，有望重新定义生产力。自18年起大模型快速流行，有望重新定义生产力。2018年以来，预训练语言模型(PLM)及其“预训练-微调”方法已成为自然语言处理（NLP）任务的主流范式，该范式先利用大规模无标注数据通过自监督学习预训练语言大模型，得到基础模型，再利用下游任务的有标注数据进行有监督学习微调模型参数，实现下游任务的适配。在AI的1.0时代：存在模型碎片化明显、AI泛化能力不足等问题。“预训练+微调”大模型能显著降低AI工程化门槛，预训练大模型在海量数据的学习训练后具有良好的通用性和泛化性，细分场景的应用厂商能够基于大模型通过零样本、小样本学习即可获得显著的效果，使得人工智能有望构建成统一的智能底座，AI+赋能各行各业。本轮的生成式AI有望从简单的内容生成，逐步达到具有预测、决策、探索等更高的认知智能。OpenAI当前已迭代五代模型，GPT-4开始布局多模态。OpenAI当前已迭代五代模型，GPT-4开始布局多模态。OpenAI于2015年成立，微软于2019年开始与OpenAI建立战略合作伙伴关系，GPT共发布五代模型GPT-1、GPT-2、GPT-3、ChatGPT以及GPT4。GPT-1于2018年6月发布，首次将transformer与无监督的预训练技术相结合。2020年5月发布GPT-3，模型参数量为1750亿。2022年11月，OpenAI正式推出了对话交互式的ChatGPT。相比于GPT-3，ChatGPT引入了基于人类反馈的强化学习（RLHF）技术以及奖励机制。2023年3月，OpenAI正式推出GPT-4，成为目前较先进的多模态大模型。GPT-4主要在识别理解能力、创作写作能力、处理文本量以及自定义身份属性迭代方面取得进展。百度于2023年3月正式推出大模型文心一言。百度于2023年3月正式推出大模型文心一言。文心一言主要由文心大模型提供支持,文心一言拥有有监督精调、RLHF、提示构建、知识增强、检索增强和对话增强六大核心技术。其中前三项与ChatGPT的技术十分类似，知识增强包括知识内化和知识外用；检索增强指基于百度搜索引擎，先对内容进行检索，再筛选出有用的部分整合输出结果；对话增强指记忆机制、上下文理解和对话规划等技术。投资建议：建议关注基础层与应用层AI龙头。应用层建议关注：科大讯飞、金山办公、同花顺、广联达、凌志软件、彩讯股份、拓尔思、投资建议：建议关注基础层与应用层AI龙头。应用层建议关注：科大讯飞、金山办公、同花顺、广联达、凌志软件、彩讯股份、拓尔思、福昕软件、税友股份等。基础层建议关注海光信息、浪潮信息、景嘉微等。福昕软件、税友股份等。基础层建议关注海光信息、浪潮信息、景嘉微等。风险提示：风险提示：AI技术商业化落地不及预期；行业竞争加剧，技术迭代风险；数据安全等政策不确定性；贸易摩擦风险。请务必阅读正文之后的免责声明及其项下所有内容目录目录行业梳理：生成式AI有望带动新一轮技术创新周期0101海外玩家：OpenAI持续领先，谷歌等巨头纷纷布局0202中国玩家：百度发布文心一言，中国玩家快速追赶0303应用场景：GPT走向多模态，下游应用场景不断打开0606商业模式：开启订阅制收费，不断开放API接口0505投资建议：建议关注基础层与应用层AI龙头0707市场规模：模型参数不断增加，算力需求快速增长0404请务必阅读正文之后的免责声明及其项下所有内容1、行业梳理：生成式AI有望带动新一轮技术创新周期1、行业梳理：生成式AI有望带动新一轮技术创新周期请务必阅读正文之后的免责声明及其项下所有内容2012年至今属于人工智能的蓬勃发展期。2012年至今属于人工智能的蓬勃发展期。人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能的发展历史大致可以被划分为5个阶段，2012年至今处于人工智能的蓬勃发展期，其分界点就是2012年前后IBM开发的人工智能程序“沃森”参加了一档智力问答节目并战胜了两位人类冠军以及AlexNet在ImageNet竞赛中取得胜利。以深度神经网络为代表的信息技术的发展，推动了人工智能领域的进步与拓展。以深度神经网络为代表的信息技术的发展，推动了人工智能领域的进步与拓展。2006年，Hinton等人利用单层的RBM自编码预训练使得深层的神经网络训练得以实现；2012年，Hinton和Alex Krizhevsky设计的AlexNet神经网络模型在ImageNet竞赛中实现图像识别分类，成为新一轮人工智能发展的起点。1.1 人工智能产业自2012年开始迎来蓬勃发展1.1 人工智能产业自2012年开始迎来蓬勃发展5资料来源：CSDN、国信证券经济研究所整理神经网络发展里程标志性事件神经网络发展里程标志性事件资料来源：CSDN、国信证券经济研究所整理AlexNet神经网络结构AlexNet神经网络结构请务必阅读正文之后的免责声明及其项下所有内容1.1 人工智能作为第四次科技革命，已经进入2.0时代1.1 人工智能作为第四次科技革命，已经进入2.0时代人工智能1.0时代（2012年-2018年）：人工智能1.0时代（2012年-2018年）：人工智能概念于1956年被提出，AI产业的第一轮爆发源自2012年，2012年AlexNet模型问世开启了CNN在图像识别的应用，2015年机器识别图像的准确率首次超过人（错误率低于4%），开启了计算机视觉技术在各行各业的应用，带动了人工智能1.0时代的创新周期，AI+开始赋能各行各业，带动效率提升。但是，人工智能1.0时代面临着模型碎片化，AI泛化能力不足等问题。人工智能2.0时代（2017年-至今）：人工智能2.0时代（2017年-至今）：2017年Google Brain团队提出Transformer架构，奠定了大模型领域的主流算法基础，从2018年开始大模型迅速流行，2018年谷歌团队的模型参数首次过亿，到2022年模型参数达到5400亿，模型参数呈现指数级增长，“预训练+微调”的大模型有效解决了1.0时代AI泛化能力不足的问题。新一代AI技术有望开始全新一轮的技术创新周期。资料来源：Gartner、国信证券经济研究所整理2022年Gartner人工智能商业化曲线2022年Gartner人工智能商业化曲线资料来源：Scale Partners、国信证券经济研究所整理人工智能有望迎来第四次科技革命人工智能有望迎来第四次科技革命请务必阅读正文之后的免责声明及其项下所有内容1.1 大模型快速爆发，重新定义人工智能产业1.1 大模型快速爆发，重新定义人工智能产业自18年起大模型快速流行，有望重新定义人工智能产业。自18年起大模型快速流行，有望重新定义人工智能产业。2018年以来，预训练语言模型(PLM)及其“预训练-微调”方法已成为自然语言处理（NLP）任务的主流范式，该范式先利用大规模无标注数据通过自监督学习预训练语言大模型，得到基础模型，再利用下游任务的有标注数据进行有监督学习微调模型参数，实现下游任务的适配。规模越大的模型不仅在已知任务上有着更好的表现，同时展现出完成更复杂的未知任务的强大泛化能力。资料来源：CSDN、国信证券经济研究所整理大模型示意图大模型示意图资料来源：清华大学、国信证券经济研究所整理基础模型的“预训练-微调”范式与传统深度学习区别基础模型的“预训练-微调”范式与传统深度学习区别请务必阅读正文之后的免责声明及其项下所有内容1.1 AI工程化门槛不断降低，有望重新定义生产力1.1 AI工程化门槛不断降低，有望重新定义生产力AI工程化门槛不断降低，有望重新定义生产力AI工程化门槛不断降低，有望重新定义生产力AI的1.0时代：AI的1.0时代：存在模型碎片化明显、AI泛化能力不足等问题，导致大多数行业需要花费巨大成本来收集和标注数据，从而导致规模不经济，而且下游场景存在诸多细分小场景，其商业化价值小、有效数据少、模型训练不足。AI的2.O时代：AI的2.O时代：“预训练+微调”大模型能显著降低AI工程化门槛，预训练大模型在海量数据的学习训练后具有良好的通用性和泛化性，细分场景的应用厂商能够基于大模型通过零样本、小样本学习即可获得显著的效果，使得人工智能有望构建成统一的智能底座，AI+赋能各行各业。本轮的生成式AI有望从简单的内容生成，逐步达到具有预测、决策、探索等更高的认知智能。资料来源：创新工场、国信证券经济研究所整理人工智能1.0时代与2.0时代人工智能1.0时代与2.0时代资料来源：IDC、国信证券经济研究所整理大模型将显著降低人工智能应用门槛大模型将显著降低人工智能应用门槛请务必阅读正文之后的免责声明及其项下所有内容1.2 产业分类：AI产业链主要包括基础层、技术层、应用层三大层1.2 产业分类：AI产业链主要包括基础层、技术层、应用层三大层人工智能产业链可分为基础层、技术层和应用层三大层面：人工智能产业链可分为基础层、技术层和应用层三大层面：基础层基础层：侧重基础支撑平台的搭建，包含传感器、AI芯片、数据服务和计算平台；技术层：技术层：侧重核心技术的研发，主要包括算法模型、基础框架、通用技术；应用层：应用层：注重产业应用发展主要包含行业解决方案服务、硬件产品和软件产品。农业交通工业教育安防医疗零售金融行业应用行业应用应用层应用层智能搜索系统智能语音识别系统智能无人机智能机器人产品应用产品应用计算机视觉机器问答智能语音自然语言处理通用技术通用技术技术层技术层增强学习深度学习机器学习算法模型算法模型神经网络分布式计算分布式存储基础框架基础框架其他传感器声学传感器光学传感器传感器传感器基础层基础层ASICFPGAGPU芯片芯片数据处理数据采集数据服务计算平台计算平台资料来源：36氪研究院、国信证券经济研究所整理人工智能产业链人工智能产业链请务必阅读正文之后的免责声明及其项下所有内容AI模型大致可以分为决策式AI和生成式AI两种。AI模型大致可以分为决策式AI和生成式AI两种。决策式AI指学习数据中的条件概率分布，根据已有数据进行分析、判断、预测，主要应用模型有用于推荐系统和风控系统的辅助决策、用于自动驾驶和机器人的决策智能体。生成式AI指学习数据中的联合概率分布，并非简单分析已有数据而是学习归纳已有数据后进行演技创造，基于历史进行模仿式、缝合式创作，生成了全新的内容，也能解决判别问题。中国生成式AI商业应用规模迎来快速增长，预计2025年破两千亿。中国生成式AI商业应用规模迎来快速增长，预计2025年破两千亿。根据中关村大数据产业联盟发布的中国AI数字商业展望2021-2025报告披露，到2025年，中国生成式AI商业应用规模将达到2070亿元，未来五年的年均增速84%。根据Gartner2021年预测：人工智能对人类和社会的影响给出的积极预测，到2023年，将有20%的内容被生成式AI所创建。至2025年，预计生成式AI产生的数据将占所有数据的10%。1.2 产业分类：AI模型可分为决策式AI与生成式AI1.2 产业分类：AI模型可分为决策式AI与生成式AI109834366310771606207005001000150020002500202020212022202320242025资料来源：知乎、国信证券经济研究所整理生成式AI应用场景生成式AI应用场景资料来源：中国AI数字产业展望2021-2025、国信证券经济研究所整理2020-2025年中国生成式AI技术栈应用规模（亿元）2020-2025年中国生成式AI技术栈应用规模（亿元）请务必阅读正文之后的免责声明及其项下所有内容人工智能在经历前期技术积累和迭代后，逐渐突破传统分析型AI领域，迎来生成式AI的爆发期。人工智能在经历前期技术积累和迭代后，逐渐突破传统分析型AI领域，迎来生成式AI的爆发期。从2012年至今，生成式AI急速发展，其源头就是DNN算法的升级，实现了语音和图像识别等功能。生成式AI市场前景广阔，赛道内诞生多家独角兽企业。生成式AI市场前景广阔，赛道内诞生多家独角兽企业。据波士顿咨询预测，至2025年生成式人工智能的市场规模将至少达到600亿美元，而其中大约30%的AI应用将来自广义的生成式AI技术。随着生成式AI模型的进一步完善，自主创作和内容生产的门槛将大大降低，市场响应该领域的巨大需求，在2019-2022年间共有7家独角兽公司诞生，截至2023年2月，这七家的估值合计达到644亿美元，其中OpenAI借助旗下产品ChatGPT爆火的东风，一家公司的估值便突破290亿美元。1.3 AI产业正在逐渐从传统分析型AI走向生成式AI1.3 AI产业正在逐渐从传统分析型AI走向生成式AI11290130796101540160100200300400500600700800900OpenAIgrammarlyadagleanJasperstability.aiCREASTA201920202022公司市值（亿美元）资料来源：澳财、国信证券经济研究所整理生成式AI竞争格局生成式AI竞争格局资料来源：CSDN、国信证券经济研究所整理生成式AI领域独角兽公司及其公司市值（亿美元）生成式AI领域独角兽公司及其公司市值（亿美元）请务必阅读正文之后的免责声明及其项下所有内容1.3 生成式AI在文本、代码、图片、语音等领域应用广阔1.3 生成式AI在文本、代码、图片、语音等领域应用广阔生成式AI在文本（Text）、代码生成（Code generation）、图片（Images）、语音合成（Speech synthesis）、视频和3D模型等领域生成式AI在文本（Text）、代码生成（Code generation）、图片（Images）、语音合成（Speech synthesis）、视频和3D模型等领域拥有广阔的应用场景。拥有广阔的应用场景。资料来源：红杉资本、国信证券经济研究所整理AIGC三大前沿能力AIGC三大前沿能力请务必阅读正文之后的免责声明及其项下所有内容1.3 AIGC具备三大前沿能力，生成式AI有望带动新一轮创新周期1.3 AIGC具备三大前沿能力，生成式AI有望带动新一轮创新周期AIGC具备三大前沿能力，未来应用空间广阔。AIGC具备三大前沿能力，未来应用空间广阔。AIGC发展火热，以chatgpt为代表的问答机器人，逐步走向大众视野。AIGC（AI-Generated Content）即人工智能生产内容，可用于代码生成、文本问答、图像生成等。AIGC是继专业生成内容（PGC）和用户生成内容（UGC）之后，利用人工智能技术生成内容的新生产方式。AIGC技术演化出三大前沿技术能力：数字内容孪生、数字内容的智能编辑、数字内容的智能创作。ChatGPT能理解并生成文字，属于AIGC技术应用中的文本生成模态应用模型。根据Gartner测算，当前AIGC占所有生成数据小于1%，AIGC生成数据渗透率有广阔提升空间，预计该数字到2025年或上升至10%。AIGC产业链上游主要提供AI技术及基础设施，包括数据供给方、数据分析及标注、创造者生态层、相关算法等。AIGC应用对数字基础设施要求较高，随着ChatGPT掀起AIGC发展浪潮，数据基础设施有望加速升级。中游主要针对文字、图像、视频等垂直赛道，提供数据开发及管理工具，包括内容设计、运营增效、数据梳理等服务。下游包括内容终端市场、内容服务及分发平台、各类数字素材以及智能设备，AIGC内容检测等。资料来源：中国信通院、国信证券经济研究所整理AIGC三大前沿能力AIGC三大前沿能力资料来源：量子位智库、国信证券经济研究所整理AIGC产业链AIGC产业链请务必阅读正文之后的免责声明及其项下所有内容2、海外玩家：OpenAI持续领先，谷歌等巨头纷纷布局2、海外玩家：OpenAI持续领先，谷歌等巨头纷纷布局请务必阅读正文之后的免责声明及其项下所有内容2.1 OpenAI发展历程（1）：2.1 OpenAI发展历程（1）：OpenAI的发展历程分为四个阶段：OpenAI的发展历程分为四个阶段：阶段一：2015年OpenAI首席执行官阿尔特曼，与埃隆马斯克等人宣布出资10亿美元，创立了非营利性研究机构OpenAI。阶段二：2019年OpenAI的架构进行了调整，调整后变身为两家机构营利性机构OpenAI LP和最初的非营利机构OpenAI,Inc。阶段三：从2019年开始，微软与OpenAI建立了战略合作伙伴关系，不少于三次投资，共投入130亿美元，成为OpenAI最大的有限合伙人。OpenAI LP从成立之初参与投资的VC，也成为有限合伙人。阶段四：在OpenAI未来盈利后，逐步回报投资人：1、优先保证OpenAI的首批投资者收回初始资本；2、微软投资完成、OpenAI LP首批投资人收回初始投资后，微软有权获得OpenAI LP 75%利润；3、微软收回130亿美元投资、从OpenAI LP获得920亿美元利润后，它分享利润的比例从75%降到49%；4、OpenAI LP产生的利润达到1500亿美元后，微软和其他风险投资者的股份将无偿转让给OpenAI LP的普通合伙人非营利机构OpenAI,Inc。资料来源：OpenAI官网、国信证券经济研究所整理OpenAI发展阶段OpenAI发展阶段2015非营利性研究机构OpenAI微软成为OpenAI最大的有限合伙人调整为OpenAI LP和OpenAI IncOpenAI给予投资人回报20192019至今未来盈利后OpenAI首席执行官阿尔特曼与埃隆马斯克等人宣布出资10亿美元，创立非营利性研究机构OpenAIOpenAI的架构进行了调整，变为两家机构营利性机构OpenAI LP和最初的非营利机构OpenAI Inc从 2019 年 开 始，微 软 与OpenAI建立了战略合作伙伴关系，不少于三次投资，共投入130亿美元，成为OpenAI最大的有限合伙人OpenAI选择了一种新的股权投资协议模式以投资回报速度代替投资回报水平请务必阅读正文之后的免责声明及其项下所有内容2.1 OpenAI发展历程（2）：OpenAI成立于2015年2.1 OpenAI发展历程（2）：OpenAI成立于2015年自2013年起人工智能迎来发展高潮。自2013年起人工智能迎来发展高潮。2006年Hinton提出“深度学习”神经网络使得人工智能性能获得突破性进展，在2013年深度学习宣发在语音和视觉识别上取得成功，识别率分别超过99%和95%，人工智能进入感知智能时代。在此期间全球人工智能市场保持高速增长，截至2015年全球AI市场规模达到74.5亿美元，而且愈发受到投资机构青睐，投资额从2012年的0.62亿元提升至2015年的142.3亿美元，增长幅度达到2195.16%。2015年OpenAI作为一家非营利性人工智能研究公司创立。2015年OpenAI作为一家非营利性人工智能研究公司创立。基于人工智能高速发展的背景，Openai由Elon Musk，Sam Altman（美国创业孵化器总裁）及Pieter Abbeel（PayPal联合创始人）等人创建，在创立之初由Elon Musk和Sam Altman担任其联合主席，由PieterAbbeel等人担任顾问。资料来源：OpenAI官网、国信证券经济研究所整理OpenAI初创成员及其担任职务OpenAI初创成员及其担任职务资料来源：艾瑞咨询、国信证券经济研究所整理2012-2015年人工智能行业投资次数和金额2012-2015年人工智能行业投资次数和金额6.2 46.0 81.0 142.3 9182643051015202530354045500.020.040.060.080.0100.0120.0140.0160.02012201320142015投资额（千万元）投资次数（次）请务必阅读正文之后的免责声明及其项下所有内容2.1 OpenAI发展历程（3）：2016年发布第一个开源平台2.1 OpenAI发展历程（3）：2016年发布第一个开源平台2016年4月，OpenAI发布了第一个项目OpenAI Gym Beta。2016年4月，OpenAI发布了第一个项目OpenAI Gym Beta。OpenAI Gym是由OpenAI开发的一个开源平台，旨在在各种强化学习问题中加速算法的开发和比较，该工具也是OpenAI第一个开放的成果。Gym的核心组件是环境（Environment）和智能体（Agent）。Gym的核心组件是环境（Environment）和智能体（Agent）。环境是一个可观察到的系统，它定义了智能体如何与外部世界交互；智能体则是一个能够感知到和影响环境的程序，是训练和优化的对象。Gym提供了许多强化学习问题的标准化环境。Gym提供了许多强化学习问题的标准化环境。例如经典控制问题（Classic control），Atari游戏，甚至是Roboschool等物理模拟环境。资料来源：OpenAI官网、国信证券经济研究所整理GYM基本应用示意图GYM基本应用示意图资料来源：OpenAI官网、国信证券经济研究所整理Universe基础设施和应用示意图Universe基础设施和应用示意图请务必阅读正文之后的免责声明及其项下所有内容2.1 OpenAI发展历程（4）：2017年公布最新强化学习算法PPO2.1 OpenAI发展历程（4）：2017年公布最新强化学习算法PPO2017年7月，OpenAI公布最新强化学习算法PPO（Proximal Policy Optimization），好于同期最强的算法模型，成为openai默认的强化2017年7月，OpenAI公布最新强化学习算法PPO（Proximal Policy Optimization），好于同期最强的算法模型，成为openai默认的强化学习算法。学习算法。PPO包含三方面的技术进步：1.代理策略和价值函数的优化，在PPO算法中，同时优化代理策略和价值函数（ValueFunction），通过在最大化奖励的同时最大化代理策略和价值函数的梯度，同时对这两者进行优化；2.剪辑代理策略更新是PPO算法的核心部分，该方法通过使用约束优化来保证新的策略不会太远离旧的策略，减轻了过渡调整代理策略的问题，并提高总体稳定性；3.优化函数的选择，在PPO算法中，需要选择合适的优化函数来最大化代理策略和价值函数的梯度，常用的优化函数包括Adam、SGD和RMSProp等。资料来源：OpenAI官网、国信证券经济研究所整理新的目标函数可以在连续任务方面表现出优异性能新的目标函数可以在连续任务方面表现出优异性能资料来源：OpenAI官网、国信证券经济研究所整理策略梯度解决方案正奖错罚策略梯度解决方案正奖错罚请务必阅读正文之后的免责声明及其项下所有内容2.1 OpenAI发展历程（5）：2018年发布第一代transformer的GPT模型2.1 OpenAI发展历程（5）：2018年发布第一代transformer的GPT模型2018年6月，OpenAI公布了第一个将transformer与无监督的预训练技术相结合的GPT模型，其取得的效果要好于当前的已知算法。2018年6月，OpenAI公布了第一个将transformer与无监督的预训练技术相结合的GPT模型，其取得的效果要好于当前的已知算法。该模型被称为GPT-1，并由一个具有10亿个参数的单层transformer组成。这一模型的训练使用了大规模的无监督语料库，使它能够生成各种自然语言处理任务的有力表现。同月OpenAI宣布他们的OpenAI Five已经开始在Dota2游戏中击败业余人类团队，OpenAIFive使用了256个P100 GPUs和128000个CPU核，通过每天玩180年时长的游戏来训练模型。在同年8月份的专业比赛中，OpenAIFive输掉了2场与顶级选手的比赛，但是比赛的前25-30分钟内，OpenAI Five的模型的有着十分良好的表现。OpenAI Five继续发展并在2019年4月15日宣布打败了当时的Dota2世界冠军。资料来源：OpenAI官网、国信证券经济研究所整理GPT可以显著提高在复杂NLP任务中的表现GPT可以显著提高在复杂NLP任务中的表现资料来源：OpenAI官网、国信证券经济研究所整理OpenAIFive与早期游戏机器人的参数对比OpenAIFive与早期游戏机器人的参数对比请务必阅读正文之后的免责声明及其项下所有内容2.1 OpenAI发展历程（6）：生成模型开始拓展至其他领域2.1 OpenAI发展历程（6）：生成模型开始拓展至其他领域2019年2月，OpenAI在博客Better Language Models and Their Implications中官宣GPT-2模型。2019年2月，OpenAI在博客Better Language Models and Their Implications中官宣GPT-2模型。GPT-2模型拥有15亿参数，基于800万网页数据训练，该模型就是GPT的规模化结果，在10倍以上的数据以10倍以上的参数训练。OpenAI在2月份GPT-2发布的时候仅仅公开了他们的1.24亿版本的预训练结果，其后的5月份发布了3.55亿参数版本的预训练结果，并在半年后的8月份发布了一个7.74亿参数版本的GPT-2预训练结果。2019年11月5日，15亿参数的完整版本的GPT-2预训练结果发布。2019年3月，OpenAI将生成模型开始拓展至其他领域。2019年3月，OpenAI将生成模型开始拓展至其他领域。同年3月4日，OpenAI发布了一个用于强化学习代理的大规模多代理游戏环境：Neural MMO。该平台支持在一个持久的、开放的任务中的存在大量的、可变的agent。4月25日，OpenAI继续公布最新的研究成果：MuseNet，这是一个深度神经网络，可以用10种不同的乐器生成4分钟的音乐作品，并且可以结合多种音乐风格。资料来源：OpenAI官网、国信证券经济研究所整理GPT-2在zero-shot的条件下的NLP任务中取得极大进展GPT-2在zero-shot的条件下的NLP任务中取得极大进展资料来源：OpenAI官网、国信证券经济研究所整理利用Sparse Transformers的原理可以生成音频利用Sparse Transformers的原理可以生成音频请务必阅读正文之后的免责声明及其项下所有内容2.1 OpenAI发展历程（7）：2020年发布预训练大模型GPT-32.1 OpenAI发展历程（7）：2020年发布预训练大模型GPT-32020年5月，OpenAI正式公布了彼时全球最大的预训练模型GPT-3相关的研究结果，参数达到1750亿。2020年5月，OpenAI正式公布了彼时全球最大的预训练模型GPT-3相关的研究结果，参数达到1750亿。OpenAI的研究人员直接提交了论文Language Models are Few-Shot Learners宣布了GPT-3的诞生，但是该模型在9月份便商业化授权给了微软。2020年6月，OpenAI发布了ImageGPT模型。2020年6月，OpenAI发布了ImageGPT模型。该模型将GPT的成功引入计算机视觉领域，也正是该模型证明了transformer是与领域无关的，都是从序列中建模，因此计算机视觉领域依然可以使用。2022年全年，OpenAI不断发布针对GPT-3的优化版本，在长文本关系、多步逻辑推理关系以及理解人类说话的能力方面大幅提升。2022年全年，OpenAI不断发布针对GPT-3的优化版本，在长文本关系、多步逻辑推理关系以及理解人类说话的能力方面大幅提升。1月，OpenAI发布InstructGPT，相较于GPT-3可以更为清晰的理解人类语言和用户意图，同时作为一个AI通话系统，也是公司收费的API。4月，新版本GPT-3和Codex发布，新增了编辑和插入新内容的能力。9月，OpenAI发布了Whispe语音识别预训练模型，结果逼近人类水平，同时支持多种语言。除对GPT模型不断优化外，在图片预训练和视频预训练方面OpenAI都有所进展。7月OpenAI发布DALLE2，在初代的基础上，生成图片更加逼真、细节更加丰富且解析度更高；6月通过视频预训练，在只使用少量标签数据和微调的条件下，训练了神经网络在Minecraft学习制作钻石工具（这项任务通常需要熟练的人类花费超过20分钟）。资料来源：OpenAI官网、国信证券经济研究所整理DALLE2性能提升示例DALLE2性能提升示例资料来源：OpenAI官网、国信证券经济研究所整理增加模型训练量可以带来更好的性能增加模型训练量可以带来更好的性能请务必阅读正文之后的免责声明及其项下所有内容2.2 GPT迭代过程：目前GPT已迭代了五代模型2.2 GPT迭代过程：目前GPT已迭代了五代模型GPT的发展可大致分为四个阶段：GPT-1、GPT-2、GPT-3、ChatGPT以及GPT4。GPT的发展可大致分为四个阶段：GPT-1、GPT-2、GPT-3、ChatGPT以及GPT4。GPT-1：2018年6月，OpenAI公布了第一个将transformer与无监督的预训练技术相结合的GPT模型。GPT-1：2018年6月，OpenAI公布了第一个将transformer与无监督的预训练技术相结合的GPT模型。GPT-1模型架构基于Transformer模型，通过学习大量未标记的文本数据，可以在大规模任务上进行预测。模型参数量为1.17亿。GPT-2：2019年2月，OpenAI在博客Better Language Models and Their Implications中官宣GPT-2模型。GPT-2：2019年2月，OpenAI在博客Better Language Models and Their Implications中官宣GPT-2模型。GPT-2是一种基于Transformer架构的自然语言处理模型，使用了无监督预训练的技术，允许GPT-2从未标注的文本数据中学习语言模型。模型参数量为15亿。GPT-3：2020年5月，OpenAI的研究人员提交论文Language Models are Few-Shot Learners宣布了GPT-3的诞生。GPT-3：2020年5月，OpenAI的研究人员提交论文Language Models are Few-Shot Learners宣布了GPT-3的诞生。GPT-3具有少样本及零样本学习的能力，即可以在没有接受特定任务或领域训练的情况下产生有意义的输出。模型参数量为1750亿。ChatGPT：2022年11月，OpenAI正式推出了对话交互式的ChatGPT。相比于GPT-3，ChatGPT：2022年11月，OpenAI正式推出了对话交互式的ChatGPT。相比于GPT-3，ChatGPT引入了基于人类反馈的强化学习（RLHF）技术以及奖励机制，提高模型准确度。GPT-4：2023年3月，OpenAI正式推出GPT-4，成为目前较先进的多模态大模型。GPT-4：2023年3月，OpenAI正式推出GPT-4，成为目前较先进的多模态大模型。GPT-4主要在识别理解能力、创作写作能力、处理文本量以及自定义身份属性迭代方面取得进展。资料来源：OpenAI官网、国信证券经济研究所整理OpenAI发展阶段OpenAI发展阶段GPT-1GPT-2instructGPTGPT-3ChatGPTGPT-42018/062019/022020/052022/032022/122023/03首次提出生成式预训练模型参数量为1.17亿建模对话历史能力显著提升基于人类反馈指令微调SFT+RLHF模型参数量为13亿少样本及零样本学习模型参数量为1750亿使用无监督训练技术模型参数量为15亿接受图像和文本输入，是目前较先进的多模态大模型。请务必阅读正文之后的免责声明及其项下所有内容2.2 GPT迭代过程之GPT-1：GPT-1采用多层Transformer架构2.2 GPT迭代过程之GPT-1：GPT-1采用多层Transformer架构GPT-1采用了多层Transformer架构,整体架构为：输入层-n个Transformer块-输出层。GPT-1采用了多层Transformer架构,整体架构为：输入层-n个Transformer块-输出层。输入层采用的是基于字节对编码(BPE,Byte Pair Encoding)的方式，将原始文本编码成固定长度的向量作为模型的输入。接下来，模型将这些向量输入到n个Transformer块中进行处理，每个Transformer块又包含了若干个子层，包括多头自注意力子层和全连接前馈网络子层。这些子层形成了Transformer块的主体结构，每个子层处理不同的输入信息，其中多头自注意力子层用于计算每个词在上下文中的重要性，全连接前馈网络子层用于提取特征并生成新的表示。最后，模型将最后一层Transformer块的输出向量输入到输出层中，生成对下一个单词的预测。整个过程被称为生成式预训练（Generative Pre-training）。GPT-1的训练过程包括预训练和微调两个阶段。GPT-1的训练过程包括预训练和微调两个阶段。首先，GPT-1使用了大规模的未标注文本数据进行预训练，这个阶段包括多层的Transformer架构和预测下一个单词的任务。在预训练完成后，GPT-1使用带标签的数据在特定任务上进行微调，例如基于分类任务的微调、基于序列标注任务的微调等。GPT-1的缺陷在于遗忘上下文，对长文本建模时存在困难；因其训练集仅为维基百科的大规模文本训练，因此在专业领域表现较差。GPT-1的缺陷在于遗忘上下文，对长文本建模时存在困难；因其训练集仅为维基百科的大规模文本训练，因此在专业领域表现较差。资料来源：CSDN、国信证券经济研究所整理transformer的基本结构（左）&GPT-1应用到不同任务上输入数据的变换方式（右）transformer的基本结构（左）&GPT-1应用到不同任务上输入数据的变换方式（右）请务必阅读正文之后的免责声明及其项下所有内容2.2 GPT迭代过程之GPT-2：采用更大的训练集，并尝试无监督训练2.2 GPT迭代过程之GPT-2：采用更大的训练集，并尝试无监督训练GPT-2采用更大的训练集，并尝试无监督训练。GPT-2采用更大的训练集，并尝试无监督训练。GPT-2为了解决GPT-1泛化能力弱的问题，开始采用zero-shot learning（零次学习）。GPT-2的训练集为在Reddi