2023年从算力、算法、数据及应用看AIGC.pdf

奇点将至，探他山之石从算力、算法、数据和应用看AIGC2023年3月19日1 目录0 01 1 生成式生成式AIAI：ChatGPTChatGPT引燃市场，数字经济未来已至引燃市场，数字经济未来已至02 数据：大模型训练的基础资源03算力：大模型发展带来高算力需求04 算法：大模型算法助力AIGC突破05 产业应用：各领域应用加速落地，商业化前景广阔AIGC(AI Generated Content)即生成式AI，多领域应用逐渐成熟。AIGC涉及无监督和半监督学习算法，截至目前其发展历程主要分为三个阶段：统计机器学习方法阶段（2010年前）：首先对数据进行手工标注，然后构建其重要特征，最后构建概率模型并进行参数优化，从而将概率最大的输出作为结果；基于深度学习的神经网络模型（2010年-2017年）：深度学习算法被引入，本质上是通过大量数据训练神经网络，主要表现形式为：CNN（卷积神经网络）、RNN(循环神经网络）等。相比统计学习方法，省去了复杂且手工的特征构建；基于Transformer结构的预训练模型（2017年至今）：利用大量无标注数据进行自监督学习，然后再使用少量的标注数据对下游任务进行微调（即迁移学习）。在应用方面，按场景分类AIGC已经较为成熟地应用于文本和代码撰写、图像识别和生成，以GPT为首的AIGC模型也正在探索消费级AI技术的变现方式。展望未来，AIGC不仅会在现有应用领域持续进步，也将逐步拓展到视频和游戏领域，AIGC将会在更多的领域得到广泛应用，为各个行业和领域的发展和进步提供更多可能性。表1：AI应用发展进程预测2020前20202022预计2025预计2030预计2050文本垃圾邮件检测翻译基础问答基础文案撰写生成草案撰写更长文章完善文稿对科学论文等进行垂直微调文章终稿超过人类平均水平文章终稿超过专业作者水平代码单行自动完成多行代码生产更长代码更高准确度更多语言深度提高文本到产品（草稿）文本到产品（终稿），超过大部分开发者图像艺术Logo摄影产品设计、建筑等模型产品设计、建筑等终稿终稿超过大部分专业艺术家、设计师、摄影师水平视频/3D/游戏视频和3D制作的初稿完善版本AI创作平台游戏和电影实现个性化定制开始尝试基本完成黄金时期生成式AI：自然语言处理演变十余年，迎来变现阶段OpenAI创立于2015年12月，发布ChatGPT引燃AI行业热度。GPT系列是OpenAI打造的自然语言处理模型，采用以Transformer结构为核心的模型，其最大特点是使用了大量的未标注的语料进行无监督的预训练，然后在各种有监督的任务上进行微调。OpenAI于2022年11月先后推出了GPT-3.5和ChatGPT，GPT-3.5使用了更新的语料进行预训练，而ChatGPT是基于GPT-3.5的对话机器人，能够根据用户的输入生成流畅、有逻辑的回答，以及完成撰写论文报告、翻译文字、编写代码等文本生成任务，并且能根据聊天的上下文进行互动。ChatGPT发布后爆火，仅用5天时间用户量便破百万，推出2个月后用户量破亿，成为史上用户增长速度最快的消费级应用程序。3月14日，OpenAI进一步推出GPT-4.0，相比当前ChatGPT使用的GPT-3.5，增加了输入图像的功能；扩写能力增强，能处理超过25000个单词的文本；更具创造力，并且能够处理更细微的指令。GPT模型迭代的参数量及训练量均呈指数级增长，使得AI从实验技术成长为稳定生产力。图1：ChatGPT仅发布5天便达到百万用户0200400600800100012001400NetflixAirbnbTwitterFoursquareFacebookSpotifyInstagramChatGPT用户量达到100万时间（天）生成式AI：GPT模型迭代四大版本，进化速度不断提升GPT模型稳定进步，AI已是成熟生产工具。从GPT-1到最新发布的GPT-4模型，其应用已经不仅局限于问答、阅读理解等文本处理，虽然目前GPT-4在现实场景中的能力可能不如人类，但在各种专业和学术考试上表现出明显超越人类水平的能力，GPT-4在模拟律师考试中，分数排在前10%；相比之下，GPT-3.5的得分则在倒数10%附近。随着算力、算法、数据量的演进，行业内不断出现高质量的AI产品，微软New Bing、AI绘画、智能驾驶等等，体现出AI未来在多个领域的应用潜力。ChatGPT版Office、百度“文心一言”两大产品正式推出，或将AI的生产力推向新的高度。图2：GPT 4.0 数学能力大幅提升生成式AI：AI产品全面开花，生产力将达新高度AI行业星辰大海，数字经济未来已至。从2018到2023年，四代GPT模型高速进步，从简单的问答、阅读理解、文本总结，到在众多测试中获得“人类级别表现”评级，此外近期AI衍生产品的层出不穷，显现出背后AI行业的星辰大海。2020年，马斯克预言五年内人工智能将比人类更聪明，当前AI迭代进化的速度越来越快，虽然GPT还未通过图灵测试，距离真正的“智能”还有距离，但我们认为，AI达到人类水平、乃至超越人类的时代即将到来。表2：历代GPT学习目标及表现情况模型发布时间参数量预训练数据量学习目标模型表现GPT-12018年6月1.17亿约5GB无监督语言模型（Pre-training）有监督fine-tune在9/12任务中获得“先进”表现：问答、阅读理解、文本总结GPT-22019年2月15亿40GB多任务零次学习Zero Short Task Transfer在7/8任务中超过“先进”表现随着模型参数变多，模型的表现呈现log-linear上升，没有到达瓶颈GPT-32020年5月1,750亿45TB语境学习小样本学习在小样本学习、单样本学习、零样本学习中表现突出GPT-42023年3月待公布基于规则的奖励模型(RBRM)在GLUE,SuperGLUE,SQuAD等测试中获得“人类级别表现”拥有图像处理能力生成式AI：AI进化加速，数字经济未来已至数据，通过算力，最后产生了算法或者应用。AIGC是人工智能、大数据、云计算、5G等多个技术领域的整合，是一种跨领域的合作发展模式。在AIGC行业中，算力、算法、数据是三个核心概念，它们共同构成了这个领域的基础设施。未来随着技术的进步和应用场景的不断拓展，这三个概念将继续发挥重要作用，推动整个行业的创新和发展。算力（Computing Power）：算力是指计算设备执行算法、处理数据的能力，包括CPU、GPU、FPGA、ASIC等。云计算技术和5G通信技术的发展使得算力的分布和调度更加灵活，有助于满足各种场景下对高性能计算的需求。算法（Algorithm）：算法是一系列解决问题、实现特定功能的有序指令和步骤。在AIGC行业中，算法是模型的基础，用于实现数据分析、人工智能模型训练等功能。数据（Data）：在AIGC行业中，数据是支撑决策和优化的基础，是算法发挥作用的前提。大数据技术可以对海量数据进行有效处理、分析和存储，而人工智能技术可以通过对数据进一步学习，实现各种智能化应用，如图像识别、自然语言处理等。表3：AIGC行业三大核心概念核心概念描述应用及关联技术算力（Computing Power）衡量计算设备执行算法、处理数据的能力，关系到系统的运行效率和任务完成速度。数据中心、分布式计算、云计算、边缘计算、高性能计算（HPC）算法（Algorithm）解决问题、实现特定功能的有序指令和步骤，是计算机程序的基础，用于实现各种功能。机器学习（ML）、深度学习（DL）、自然语言处理（NLP）、计算机视觉（CV）、推荐系统等数据（Data）对现实世界的描述和反映，以数字、文字、图像等形式表现，是支撑决策和优化的基础。数据挖掘、数据分析、数据仓库、数据可视化、数据安全、隐私保护等生成式AI：算力、算法、数据三位一体10 目录01 生成式AI：ChatGPT引燃市场，数字经济未来已至02 数据：大模型训练的基础资源03算力：大模型发展带来高算力需求04 算法：大模型算法助力AIGC突破05 产业应用：各领域应用加速落地，商业化前景广阔数据是训练大模型的基础资源，以GPT系列模型为例，对比三代模型间使用的数据集，训练所需的数据集在质量和数量方面均不断提升。随着人工智能模型迭代发展，高质量数据集的需求将进一步增长。模型数据集概要GPT-1BooksCorpus（7000不同的未发表的书籍，包括冒险、幻想、浪漫等题材，数据集中包含大量连续文本）GPT-2在Reddit上爬取的外链，构建了WebText数据集，包含了这4500万个链接的文字子集，移除了所有的Wikipedia文档，因为它是很多下游任务的数据源，这是为了避免数据集重叠而影响评估GPT-3使用Common Crawl数据集(几乎包含整个互联网的数据)，进行了3步过滤操作，增加了一些高质量数据集，最终采用混合数据集输入。数据集大小合计将近5千亿tokens表4：GPT系列模型训练使用数据集概要数据：大模型训练的基础资源，需求不断扩大从自然数据源简单收集取得的原料数据并不能直接用于有监督的深度学习算法训练，必须经过专业化的采集、加工，形成相应的工程化训练数据集后才能供深度学习算法等训练使用。目前，带有监督学习的算法对于训练数据的需求远大于现有的标注效率和投入预算，基础数据服务将持续释放其对于算法模型的基础支撑价值。公司主营业务公司优势海天瑞声AI训练数据的研发设计、生产及销售业务1.拥有的成品训练数据集数量大，在产品领域覆盖方面比较完善2.已取得专利授权28项，计算机软件著作权159项，对比同业公司在专利技术储备方面具备一定优势3.公司的产品和服务已获得字节跳动、阿里巴巴、腾讯、百度、科大讯飞、海康威视、微软、亚马逊、三星、中国科学院、清华大学等国内外客户的认可，市场认可度较高澳鹏（Appen）数据采集和标注解决方案1.覆盖超过235个语种/方言，语言覆盖面具有优势2、成立于1996年，经营历史较长，规模较大，拥有人工智能辅助数据注释平台，在全球170多个国家与100多万名专业承包合作3.客户包括亚马逊、微软、谷歌等全球大型科技公司，产品质量得到认可标贝科技智能语音交互和AI数据服务1.拥有语音合成模型和算法，可覆盖音乐类训练数据。拥有TOBI标注体系，通过自主研发的TTS评测系统，提供高质量的数据服务。2.已与微软、百度、阿里、腾讯、京东、滴滴、字节跳动等国内外百余家企业客户建立合作，服务项目累计超过1000项表5：数据服务商部分公司概况数据：大模型训练的基础资源，需求不断扩大13 目录01 生成式AI：ChatGPT引燃市场，数字经济未来已至0 2 数据：大模型训练的基础资源0 03 3算力：大模型发展带来高算力需求算力：大模型发展带来高算力需求04 算法：大模型算法助力AIGC突破05 产业应用：各领域应用加速落地，商业化前景广阔334.7 4,773.7 01,0002,0003,0004,0005,0006,00020212030E全球GPU市场规模（亿美元）AIGC模型硬件以GPGPU为主，GPU市场规模有望在2030年超过4000亿美元。GPU在并行计算方面具有性能优势，在AI领域分化成两条分支：一条是传统意义的GPU，专门用于图形图像处理用途；另一条是GPGPU，作为运算协处理器，增加了专用指令来满足不同领域的计算需求。使用GPGPU在云端进行模型训练算法能够显著缩短海量训练数据的训练时长，减少能源消耗，从而降低人工智能的应用成本，目前全球人工智能相关处理器解决方案仍以GPGPU为主。根据VerifiedMarketResearch报告，2021年全球GPU芯片市场规模已经达到了334.7亿美元，并预计到2030年将达到4,773.7亿美元，CAGR高达33.3%。GPU市场保持着高速增长态势，其在人工智能领域中仍然是不可或缺的计算资源之一。图4：全球GPU市场规模预测CAGR：33.3%算力：算力需求不断攀升，GPU行业市场巨大英伟达：高算力芯片龙头，AI芯片市场地位领先。人工智能平台需要巨大的数据处理能力，英伟达的A100显卡适合于支持ChatGPT、Bard等工具的机器学习模型，这款芯片能够同时执行众多简单的计算，而这对于训练和使用神经网络模型很重要，使得A100显卡成为目前主流AI芯片。长期展望，AI芯片市场快速增长将带动英伟达营收快速增长，根据中商产业研究院数据显示，预计全球AI芯片市场规模有望从2020年的约175亿美元提升到2025年的726亿美元，年复合增长率32.9%。根据花旗集团预估，ChatGPT 的使用可能会在 12 个月内为英伟达带来 30 亿至 110 亿美元的销售额。算力：英伟达芯片龙头市场地位稳固图5：A100等显卡大模型训练速度图6：A100等显卡机器学习性能AMD：高算力芯片代表企业，即将推出世界首款集成数据中心CPU和GPU的APU产品。在2023年的CES上，AMD预览了AI推理加速器AMD Alveo V70，主打高能效，峰值AI算力可达到400TOPS，TDP仅75W。AMD称这是最强AI算力的75W TDP级产品。AMD还预览了其首款集成数据中心CPU和GPU的APU产品AMD Instinct MI300。该款产品采用了Chiplet封装理念。Chiplet策略是一项重要的硬件创新，摆脱了单芯片微缩的限制，同时能够优化设备的性能、功耗和性价比。MI300加速器专为领先的高性能计算（HPC）和AI性能而设计，借助3D封装技术将CPU和加速计算单元集成在一起，总共有1460亿个晶体管。图7：AMD在CES上介绍V70图8：AMD在CES上介绍MI300算力：AMD封装理念Chiplet领先，推出高性能APU全球GPU市场中英伟达和AMD占据96%份额，国内GPU主要研发企业为海光信息、寒武纪等。根据Wccftech，2022Q3独立GPU市场中英伟达和AMD分别占据88%、8%市场份额。根据海光信息招股书公布技术指标数据，当前国内高端GPU相比国际巨头在显存频率、带宽等参数上还有一定差距，但在典型应用场景下，深算一号已基本能够达到国际上同类型高端产品的水平。在国际市场上，英伟达和AMD在高性能计算和人工智能领域具有丰富的产品线和完善的生态系统，叠加长期积累的技术优势和市场地位，预计仍将长期维持AI算力芯片领域的龙头地位。算力：英伟达、AMD垄断全球，国产芯片奋起直追表6：深算一号与NVIDIA、AMD高端产品技术规格对比核心概念海光NVIDIAAMD品牌深算一号Ampere 100MI100生产工艺7nm FinFET7nm FinFET7nm FinFET核心数量4096(64 Cus)2560 CUDA processors640 Tensor processors120 CUs内核频率Up to 1.5 GHz(FP64)Up to 1.7 GHz(FP32)Up to 1.53 GHzUp to 1.5 GHz(FP64)Up to 1.7 GHz(FP32)显存容量32 GB HBM280 GB HBM2e32 GB HBM2显存位宽4096 bit5120 bit4096 bit显存频率2.0 GHz3.2 GHz2.4 GHz显存带宽1024 GB/s2039 GB/s1228 GB/sTDP350 W400 W300 WCPU to GPU互联PCIe Gen4 x 16PCIe Gen4 x 16PCIe Gen4 x 16GPU to CPU互联xGMI x 2Up to 184 GB/sNVLinkUp to 600 GB/sInfinity Fabric x 3Up to 276 GB/s高端芯片进口受限，国产芯片需求加速扩大。在NVIDIA、AMD高端产品被限制向中国出售的情况下，国产大模型算力需求将快速推动国产芯片市场增长，当前国产GPGPU芯片的研发和生产已经取得了一定的进展，海光、炬芯、寒武纪等企业均拥有具备自主知识产权的GPU芯片，为国内高性能计算和人工智能领域的发展提供了重要支持。根据前瞻产业研究院，国产人工智能芯片自2020年来呈爆发式增长，2023年市场空间预计将超过1,300亿元，2020-2023年CAGR为95.86%。总体而言，在国际关系紧张、芯片进口受限的前提下国产人工智能芯片市场未来的发展前景广阔，随着国内厂商加大研发投入和技术创新力度，进一步提升产品性能，看好其在国内乃至国际市场中获得更多的份额和竞争优势。算力：国产芯片发展迅速，填补AI市场空缺图9：中国人工智能芯片行业规模（亿元）59.45 112.87 177.18 429.90 843.71 1,331.22 89.86%56.98%142.63%96.26%57.78%0%20%40%60%80%100%120%140%160%02004006008001,0001,2001,4002018201920202021E2022E2023E19 目录01 生成式AI：ChatGPT引燃市场，数字经济未来已至02 数据：大模型训练的基础资源03算力：大模型发展带来高算力需求04 算法：大模型算法助力AIGC突破05 产业应用：各领域应用加速落地，商业化前景广阔在算法领域，目前通用型AI的领军者是OpenAI，其发布的GPT-4模型是一种多模态语言模型，能接受图像和文本输入，再输出正确的文本回复。相较于ChatGPT基于的GPT-3.5模型，它拥有强大的识图能力，文字输入限制提升，准确性显著提高，风格上也有了变化，例如能够生成歌词和创意文本。在细分领域中，行业内的主要参与者包括以下公司：谷歌的PaLM-E模型是目前已知最大的视觉语言模型，并且将模型接入至机器人，实现可通过机器人执行命令，深耕将AI大模型应用到机器人领域。Meta的FAIR团队专注于研发用于辅助研究群体进行研究工作的大模型，其“LLaMA”模型参数量较少，但同样基准测试结果同样优秀。而较小的模型大小带来的是模型训练、运行成本的降低，实现以低成本使用大模型AI。Anthropic专注于人工智能的安全道德领域，其聊天机器人Claude在对有害性输入的应对上表现得更加优异，更擅长拒绝有害词。其提出的Constitutional AI（CAI）技术有望在未来对所有AI实施有效性安全监督。Hugging Face致力于构建开源模型库，集成了诸多人工智能模型，并在TensorFlow和Pytorch上做了一层抽象，屏蔽了机器学习框架的细节，并非常重视易用性。作为一个开源社区，其中立的第三方平台身份有助于聚集行业顶尖的社区贡献者，吸引社区贡献者将其模型集成到公司模型库中，或者是在公司模型库中构建模型。百度作为国内首个发布类ChatGPT聊天机器人产品的公司，是国产大模型的领导者。其产品“文心一言”尽管与ChatGPT有一定差距，但在中文领域展现出了独特的中文理解能力，并且出于数据安全、外部因素限制等角度考虑，国产大模型仍是必需，具备硬性市场需求。算法：OpenAI领跑通用型AI，各大厂商各有千秋Azure算力支持，数亿投入始现回报。GPT系列是OpenAI打造的自然语言处理模型，基于文本预训练的GPT-1，GPT-2，GPT-3三代模型都采用以Transformer结构为核心的模型。微软在2019年向OpenAI投资10亿美元，并为OpenAI建造了一台由数万个A100 GPU组成的大型AI超级计算机，成本或超过数亿美元。GPT模型正是由这台超级计算机提供支持，OpenAI试图训练更多需要学习海量数据、拥有超大参数规模的AI模型，需要长期访问强大的云计算服务，GPT-3的参数量达到了1,750亿，微软构建了一个可在非常大的范围内运行且可靠的系统架构，这使得ChatGPT成为可能。图10：微软发布NDm A100 v4 Public AI 超级计算机在ChatGPT的成功后，微软近日宣布了 NDm A100 v4 Public AI 超级计算机，并在21 世纪超级计算大会的TOP500 榜单中取得了前十的优异成绩。随着GPT模型的参数规模和数据量持续膨胀，Azure的强大算力支持是GPT持续完善的保障。算法：微软Azure超算为GPT提供保障OpenAI正式发布多模态预训练大模型 GPT-4，识图能力强大，实现多模态能力。相较前一代GPT-3.5，其主要在两方面实现飞跃式提升：（1）具备了强大的识图能力，可以接受图像和文本输入；（2）回答准确性显著提高。OpenAI目前已升级ChatGPT，ChatGPT Plus 订阅者可以获得具有使用上限的 GPT-4访问权限，开发者则可以通过注册等待以获取GPT-4的API访问权限。GPT-4 可以接受文本和图像形式的 prompt，新能力与纯文本设置并行，允许用户指定任何视觉或语言任务。具体来说，它能在用户给定由散布的文本和图像组成的输入的情况下生成相应的文本输出（自然语言、代码等）。图12：GPT-4识别论文图片生成概要图11：GPT-4识图能力实例算法：ChatGPT引入最新模型GPT-4具备识图能力相较GPT-3.5，回答准确性显著提高。根据OpenAI公布数据显示，GPT-4在专业和学术方面表现优异，在诸多标准化考试中均取得了优秀的分数。比如其能通过模拟律师考试，且分数在应试者的前10%左右，相比之下，GPT-3.5的得分在倒数 10%左右。GPT-4在GRE（Graduate Record Examination）数学考试中取得应试者前20%左右成绩，而GPT-3.5仅能排在应试者后25%。GPT-4在大部分语言上的准确性均超过了GPT-3.5在英语上的表现。OpenAI使用 Azure Translate将 MMLU 基准 一套涵盖 57 个主题的 14000 个多项选择题 翻译成多种语言。在测试的 26 种语言的 24 种中，GPT-4 优于 GPT-3.5 和其他大语言模型（Chinchilla、PaLM）的英语语言性能。图13：GPT-4标准化考试成绩图14：GPT-4在不同语言上的准确性算法：GPT-4模型回答准确性显著提高谷歌：发布目前最大视觉语言模型PaLM-E，有望率先落地智能机器人相关产品。PaLM-E是一种多模态视觉语言模型（VLM），具有 5620 亿个参数，是全球已知的最大视觉语言模型。根据谷歌公布的演示视频显示，只需要给 PalM-E 下达一条高级命令，比如“把抽屉里的薯片拿给我”，它就可以给一个带机械臂的移动机器人平台（由谷歌机器人开发）生成行动计划，然后自行执行。PaLM-E 通过分析来自机器人摄像头的数据来实现这一点，整个过程不需要对场景表示进行预处理。并且，PaLM-E表现出了“正迁移”，又称助长式迁移，它能把一项任务中学到的知识和技能迁移至另一项任务，而且与单任务机器人模型相比具有“明显更高的性能水平”图15：PaLM-E具备能力一览算法：最大视觉语言模型PaLM-E，可操控机器人Meta：“LLaMA”致力于辅助学术研究人员完成研究工作。LLaMA（Large Language ModelMeta AI）模型参数相对少，意味着运行模型算力要求较低，但基准测试表现优秀。同ChatGPT、NewBing不同，LLaMA是一个开源的“研究工具”，旨在完成在文本生成、问题回答、书面材料总结，以及自动证明数学定理、预测蛋白质结构等工作帮助研究人员推进研究工作。根据Meta发布的信息，LLaMA包含4个基础模型，参数分别为70亿、130亿、330亿和650亿。其中，LLaMA 65B 和 LLaMA 33B在1.4万亿个tokens上训练，而最小的模型LLaMA 7B也经过了1万亿个tokens的训练。在大多数基准测试中，参数小的多的LLaMA-13B的性能优于GPT3.5的前身GPT3-175B，而LLaMA-65B更可与业内最佳的Chinchilla-70B和PaLM-540B竞争。图16：LLaMA的训练损失函数图图17：LLaMA在基础问题解决中的表现算法：针对研究群体的模型“LLaMA”，目标明确Anthropic：聚焦“安全”的人工智能，或将成为AI安全领域专家。随着大语言模型的发展，AI在很多任务上的能力将会超过人类，这将让人类无法监督模型。为了确保 AI 在超过人类能力后仍保持安全性，需要开发一种可扩展的模型监督技术。CAI（Constitutional AI）技术即是这种模型监督技术，原理是人类可以指定一套行为规范或原则，而不需要手工为每个有害输出打标签，模型根据这套行为规范和准则选择最佳结果。Anthropic所开发的聊天机器人Claude，在对话安全领域上做得更为突出，更擅长拒绝有害词或有害的引导，与人类价值观更加相符。并且CAI技术有望对未来所有人工智能模型实施有效安全性监督。图18：Constitutional AI（CAI）技术流程示意图算法：对人工智能的安全性监督日益重要Hugging Face：与亚马逊旗下云计算部门AWS扩大合作，将在AWS上构建下一个版本语言模型。近日，AWS宣布与美国明星AI创企Hugging Face扩大合作，以加速构建生成式AI应用的大型语言模型和大型视觉模型的训练、微调和部署。Hugging Face是OpenAI的主要竞争对手之一，其主要业务包括生产AI产品和托管其他公司开发的产品，已发展成AI开发者共享开源代码和模型的在线中心之一。据AWS数据库、分析和机器学习副总裁Swami Sivasubramanian透露，Hugging Face将在AWS上构建其语言模型的下一个版本BLOOM。该开源AI模型在规模和范围上将与OpenAI用于研发ChatGPT的大型语言模型竞争，将运行在AWS自研AI训练芯片Trainium上。图19：BLOOM模型结构算法：构建AI开发平台，加速AI模型迭代更新百度：国内首个类GPT产品，有望在外部压力驱动下快速推动国内应用结合落地。“文心一言”尽管模型能力水平上与ChatGPT等有一定差距，但在下游应用逐步对接后，有望依靠合作伙伴的高质量数据集快速提升模型能力。由于国内无法使用ChatGPT的API接口，且出于数据安全等角度考虑，势必需要国产大模型，百度“文心一言”作为国产大模型的先行者，在国内政策扶持和产业链协同发展的背景下，将进一步加速国内AI技术进步和产业化进程，填补市场空缺。根据百度文心大模型的布局全景，“文心一言”有望通过飞桨开源开放平台、百度智能云等赋能到工业、能源、金融、通信、媒体、教育等各行各业，通过接入合作伙伴的方式，进一步获取高质量数据集以强化模型训练调整，快速提升模型性能。图20：百度文心大模型布局全景算法：国产大模型奋力追赶，行业布局广泛尽管当前版本“文心一言”仍具备提升空间，但在中文理解能力上，相较ChatGPT等国外模型，其具备一定的“主场优势”，有望在国内中文环境下实现较好的应用效果。在关于东北烧烤店取名的提问中，ChatGPT的回答中夹杂了“周家烤鸭店”、“炸酱三绝串串香”等看似具有相似性，但实际不符合问题要求的答案；而文心一言则回答答案均符合要求，且呈现出了不同答案的取名逻辑。在创作藏头诗的任务中，ChatGPT没有能够正确理解“藏头诗”的含义，而文心一言的创作明显更胜一筹。由此可见，文心一言在中文理解领域上确实相较更有优势，或更加适合中国市场。图21：ChatGPT关于烧烤店取名回答图22：“文心一言”关于烧烤店取名回答图24：“文心一言”关于藏头诗创作算法：相比ChatGPT，“文心一言”在中文理解领域上具备优势30 目录01 生成式AI：ChatGPT引燃市场，数字经济未来已至02 数据：大模型训练的基础资源03算力：大模型发展带来高算力需求04 算法：大模型算法助力AIGC突破05 产业应用：各领域应用加速落地，商业化前景广阔AIGC市场潜力巨大，即将实现多领域应用。根据Tractica的预测数据显示，全球AI软件市场规模将在2025年达到1260亿美元，2021年到2025年年复合增长率为41.02%。在大模型的快速迭代推动下，AIGC市场预计将保持高速增长，市场潜力巨大。生成式AI领域在一级市场同样受到青睐，全球早期资金调研机构CB Insights最新报告显示，2022年有110笔创投交易和ChatGPT概念有关，投资资金超过26亿美元。我们预计搜索引擎、办公软件、汽车、媒体、AI绘画设计、AI广告营销等应用率先落地的行业将具备较强商业化机会，AI服务将极大解放生产力，带来行业新模式。图25：全球AI软件市场规模870 1,198 1,650 2,275 3,139 4,335 5,990 8,290 11,480 15,910 37.70%37.73%37.85%38.00%38.10%38.18%38.40%38.48%38.59%37.2%37.4%37.6%37.8%38.0%38.2%38.4%38.6%38.8%-2,000 4,000 6,000 8,000 10,000 12,000 14,000 16,000 18,00020212022E2023E2024E2025E2026E2027E2028E2029E2030EAI产业全球市场规模（亿美元）YOY产业应用：AIGC市场潜力巨大，落地领域迎来生产力解放搜索引擎的主要代表为微软Bing。根据用户搜索内容，必应将生成相应问题答案的方案，比如当用户输入“计划一次为期五天的墨西哥之旅”的命令时，除了返回一些网址链接供你参考之外，跟使用ChatGPT 一样，必应对话框会直接给你写出一个方案，用户可以直接复制这个答案，不满意的话也可以要求它再生成一个另外的方案，而必应可能会在回复中给出与搜索内容相关的广告。由于生成式搜索下回复将对用户具有更高的匹配度，因此广告也将更符合用户需求。例如，当用户搜索精灵宝可梦：朱/紫时，聊天机器人在对其进行介绍后，询问用户“是否有兴趣购买朱与紫？”并附带了相应广告链接。在另一个关于罗尼-科尔曼的搜索中，Bing提供了关于这位退休的职业健美运动员的详细信息，并生成了带有图片、链接和价格的健美产品。图26：Bing搜索宝可梦朱/紫结果图27：Bing搜索罗尼-科尔曼结果【搜索引擎】微软（MSFT.O）：高质量广告更加符合用户需求微软于3月6日表示，其 Power Platform 平台上的一系列商业智能和应用程序开发工具，包括 Power虚拟代理（Power Virtual Agent）和 AI Builder，均已更新 ChatGPT 功能。Power 虚拟代理是一款供企业构建聊天机器人的工具，如今可以连接到公司内部资源，生成周报和客户查询的摘要。而用 AI Builder，则可以很容易地使用 GPT 模型创建文本。比如，研究人员可以从每周发布的报告中总结文本，发到自己的邮箱里，一遍快速提供信息，识别当前趋势。3月17日，微软宣布GPT-4全面接入Office，以插件助手Microsoft 365 Copilot形式辅助办公。PPT、Word、Excel均可使用该AI功能：Word，可以直接给一句简短的描述让它帮你生成文档初稿；Excel，根据输入需求自动分析、整理数据；PPT，可以通过其他文件内容生成精美PPT，并可以根据要求快速修改（简化内容、替换图片等）。预计随着Copilot的应用，将为办公模式带来全面变革，提升办公效率，解放生产力。图28：Power Virtual Agent使用界面图29：Copilot通过一句话分析excel数据趋势【办公软件】微软（MSFT.O）：AI助手解放生产力，办公模式迎来变革自动驾驶：Mobileye自动驾驶技术领先，若能加入AIGC大模型将如虎添翼。根据GuidehouseInsights的报告，以技术成熟度、产品能力等因素评价，自动驾驶领域由Mobileye、Waymo、百度和Cruise 领先。基于Transformer架构设计的模型思路对自动驾驶领域有很强的借鉴作用，比如ViT（VisionTransformer）模型，它是一种基于Transformer的视觉模型，可以在不使用CNN卷积神经网络的情况下进行图像分类，在自动驾驶图像识别中应用；生成式AI技术有望进一步推动自动驾驶技术的快速发展，为未来的出行带来更加安全、便捷和智能的解决方案，实现更高等级的自动驾驶系统。图31：VIT模型结构【汽车】Mobileye（MBLY.O）：自动驾驶或达新高度图30：全球自动驾驶系统排名智能语音助手：大模型下的语言训练，可以通过微调进入汽车领域用于汽车语音识别系统，帮助驾驶员实现语音控制，如语音导航，电话，音乐等。之后从汽车客户服务上来讲，帮助提供快速，准确和个性化的客户服务，从而提高客户满意度。通用汽车几乎是国外第一家正式宣布引入ChatGPT的车企，其正在与OpenAI合作开发一个基于支持ChatGPT的相同机器学习模型的车内数字助理，以帮助客户帮助车主获取车辆使用的相关信息，比如车主可以使用自然语言询问如何处理某种情况，例如如果用户轮胎被刺破了如何更换轮胎；仪表盘跳出某个指示灯建议驾驶员采取什么行动等等。图32：通用汽车或实现车载GPT数字助理【汽车】通用汽车（GM.N）：与OpenAI达成合作，提升车载助手智能程度根据CBS消息，美国知名媒体BuzzFeed宣布与OpenAI合作，将从“Quizzes”栏目入手，引入生成式AI进行内容创作。该栏目主要由一系列有趣的问题测试组成，比如包括“测测你是迪士尼里的哪位公主”，“你最像复仇者联盟里的哪位超级英雄”之类等，根据用户回答生成个人报告。ChatGPT接入到Buzzfeed后，将被用于为每位客户生成个性报告的编写过程中，AI的自动化生产内容将为这一工作缩减不必要的人工劳动，从而降低内容生产的成本，有望迎来人力成本的解放。根据Buzzfeed同创办人兼执行长Jonah Peretti表示，AI将会被应用在建立测验、集思广益，并协助为阅听众提供客制化内容，帮助媒体作者提高效率。图33：BuzzFeed的Quizzes栏目【媒体】Buzzfeed（BZFD.O）：率先落地AI，互动更加个性化目前该行业领域暂无对应上市公司，主要公司之一为Stability AI。Stability AI是一家元宇宙及数字媒体工具开发商，构建了可制作数字艺术的AI绘画平台“Stable Diffusion”，该工具是一种根据描述生成图片的AI技术模型。只需输入简单的文字描述，其就能在几秒钟内自动生成一幅真实的画作。AI技术的发展让人们的想象逐渐成为现实。无论是需要一个角色立绘，还是设计场景背景，均可以通过AI绘图工具迅速完成。该类AI绘图应用有望为设计绘画行业带来效率的极大提升，释放大量人工劳动力，人类所扮演得角色将更倾向于提出意见，而不是亲自做图。目前AI绘画已能通过不断修改调整“提示词”生成高水平的艺术画作，名叫杰森艾伦（Jason Allen）的艺术家通过AI绘图工具生成的作品，在美国科罗拉多州博览会的艺术比赛中获得了第一名。图34：Stable Diffusion模仿毕加索生成的画作图35：美国科罗拉多州博览会的美术比赛中获奖AI画作【设计绘画】Stability AI：AI高效绘图，改变行业工作模式游戏资产生成：Scenario 允许创建由游戏开发人员或游戏艺术家训练的自定义生成器，以仅匹配他们自己图像的风格。在用户上传了一组定义给定游戏或项目的角色、物品、环境或其他资产的视觉效果后，Scenario平台可以根据用户上传数据快速生成相应游戏资产，大大降低了游戏开发成本。增强交互体验：近期网易旗下手游逆水寒官方宣布，实装国内首个游戏内类GPT技术，采用了大量来自网易伏羲人工智能实验室以及网易雷火事业群的 AI 技术。从官方公布演示视频来看，逆水寒手游已经能让智能 NPC 和玩家自由生成对话，同时也能基于对话内容做出合适的逻辑行为反馈，包括声音和形体动作。生成式AI在游戏中的应用可以大大增强玩家剧情代入感，大幅提高游戏交互体验，提升玩家对游戏的探索欲望。图36：在Scenario上生成游戏资产图