技术精华：生成式AI（2023）.pdf

1启明创投 未尽研究State of Generative AI 2023State of Generative AI 2023生成式 AI 启明创投 未尽研究1启明创投 未尽研究State of Generative AI 2023概要概要如果说 2022 年被称为生成式人工智能之年，扩散模型应用取得突破，ChatGPT 出世，一系列开创性的研究论文发表，2023 年则把大模型推向了一个高峰，GPT-4 的发布，标志着生成式人工智能，进入了面朝通用人工智能创新应用的阶段。研究、应用、监管，合力开辟着生成式人工智能的发展之路。创新应用生成式人工智能的生态包括了基础设施层、模型层与应用层，创新在每一个层面发起，竞争也在科技巨头、行业龙头和初创公司之间展开。在整个生态中，受益于以参数规模为代表的大模型不断扩张，算力目前是最稀缺的资源，也处于最容易获利的要津。算力是大模型成本结构中最大的一块，GPU 的性能，决定了这个新兴行业的步调。但是，GPU 性能提升的速度，已经落后于大模型训练和推理需求的增长。面对这一革命性的技术，不论是主动还是被动，企业都被卷入其中。不管是技术的守成者、创新者还是采纳者，业务模式都将发生变化，进而影响企业的发展。当前，生成式 AI 尚处于技术发展的早期阶段，基础架构和核心技术并不成熟；科技巨头忙于研发大模型，尚未顾及深度切入具体的应用场景。但巨头何时添加相似的功能（feature）始终是悬在初创企业头上的达摩克利斯之剑，而大模型能力边界的扩张也可能在未来挤占初创企业的发展空间，可以说，这是初创企业的蓝海，但也有航道下的暗礁。在中国，目前从模型出发的公司受到看好，通用大模型和垂直大模型的创业如火如荼，而自建模型的应用也在努力构建着自己的壁垒；同样，科技巨头正在利用自身算力优势来构建大模型。我们有理由相信，在众多模型层和科技大厂的合力下，模型层的整体能力将进一步完善，在未来为应用层企业提供可靠的支撑。前沿研究生成式人工智能领域的一个突出特征，是研究与创新过程的密切结合，许多在企业内部实现，迅速推出用例和产品。这种研究与创业的一体化，初创企业和风险资本起到了重要的作用，而美国科技巨头和主要人工智能企业的研究投入、人才密集度、包括一些底层技术的研究，这些年来已经超过了大学等研究机构。GPT-4 迸发出通用人工智能的“火花”，需要研究和解决的问题反而更多了，如信心校准、长期记忆、持续学习、个性化、规划和概念跨越、透明度、认知谬误和非理性，等等。而过去半年最重要的研究方向，是破解和理解大模型神秘而又令人兴奋的智能“涌现”。大模型既需要超越对下一个词的预测能力，也需要一个更丰富、更复杂的“慢思考”深层机制，来监督“快思考”预测下一个词的机制。大模型不仅用来生成文章和图片，而且可以当成智能代理，帮助管理和执行更复杂的任务。开源模型实现了低成本、小型化、专业化的训练，与闭源的基础模型竞争互补，共同推动了生成式人工智能技术的应用，也加快了模型向边缘侧和移动端部署。生成式人工智能大模型日益向多模态发展，具身智能也成为一个重要研究方向，帮助生成式人工智能更好地理解和处理现实世界的复杂性和多样性。大模型更安全、让智能更可信，成为新兴的研究热点。生成式人工智能对于就业和经济的广泛影响，正在吸引经济学、社会学、心理学等不同领域的研究兴趣。但仍然需求实证性的研究。监管、安全与人才生成式人工智能加快了中国、欧盟和美国的监管和立法的进程。欧盟努力在今年底让人工智能法案生效，为全球人工智能立法定下基调。中国也预计将于明年提出综合性的人工智能立法。而美国重点在于建立风险控制技术标准。中国对通用人工智能表现出很大热情与期待。地方政府中北京、上海、深圳是第一梯队，均提出了较具雄心的人工智能科研、创新与产业目标。中国研究人员发布的论文在数量上已经超过了美国，但在金字塔顶端，无论是研究还是创业，美国仍然占据明显的优势。科技部要求人工智能企业应该接受科技伦理审查；审查主体应该设立科技伦理（审查）委员会。美国人工智能企业较早开始设立负责任与可信人工智能部门，从去年到今年以来经过一些调整，反映出在生成式人工智能发生变革之际，企业正在寻求用更好的技术和方案，来安全和负责地部署新技术。十大前瞻基于上述研究，报告对未来一至三年的大语言模型、多模态模型和商业竞争态势，做出了十点前瞻。State of Generative AI 20232启明创投 未尽研究目录生态架构生态位与新物种定价模型：基础设施层定价模型：模型层定价模型：应用层企业运营发生改变 市场格局GPT-3 之后的新公司大模型公司应用层公司语言类多模态目录致敬 2022大模型的“慢思考”开源智能代理多模态具身智能安全与可信中美欧监管地方的 AI 雄心安全与伦理中美塔尖人才从研究到创新十大展望关于报告0405060709101112141617182022232425262729303132333536第一章 行业变革第二章 前沿研究第三章 监管、安全与人才第四章 十大展望3启明创投 未尽研究State of Generative AI 2023行业变革第一章 行业变革生成式人工智能的生态包括了基础设施层、模型层与应用层。创新在每一个层面发起，竞争也在科技巨头、行业龙头与初创公司之间展开。State of Generative AI 2023第一章：行业变革4生成式 AI 生态架构AI 1.0 时代，需要针对特定任务，利用相关的数据研发特定模型，任务和模型耦合。AI 2.0 时代，经过大规模数据预训练得到的大模型，带来了极好的效果和泛化能力，可以直接用于下游的各种任务。AI 2.0 的公司将分为三层：基础设施层：解决大模型训练/推理/部署的工具链厂商和提供 GPU 资源的智算中心。智算中心再往下是新一代AI 芯片或者下一代通用 GPU。模型层：研发大模型，并对外提供 AI 模型服务或者 API服务，包括训练（training）和推理（inference）时需要的 GPU 资源。除了这类输出“水电”的底座大模型，也包括提供针对特定行业或场景的垂直模型的公司。应用层：专注于解决某个特定领域的应用公司，包括自研大模型的应用公司和利用第三方大模型的应用公司。生态架构四代底层技术的进步，催动了四波人工智能的发展。第一波小规模专家知识，用了 40 年走完；第二波浅层机器学习，用了 20 年走完；第三波深度学习，用了 8-10 年走完，并取得一定的成就。最近这一波 AI 新浪潮，以 2017年基于 Transformer 的预训练模型为起点，并在 2020 年 GPT-3 大模型发布后突破技术奇点。图中标红的企业为启明创投已布局企业。自建大模型的垂直应用Adept,Runway,Character.ai,街远科技，无限光年，云知声利用第三方模型构建的应用Jasper,Descript,Copy.AI,TutorEva.ai应用层模型层闭源大模型及 API 服务Open AI,Cohere,Anthropic,百度文心，智谱 AI开源模型及 Model HubHugging Face,Stability,阿里云 Model Scope工具链AnyScale,MosaicML基础设施层智算平台Azure,AWS，阿里云，火山引擎，智算中心应用层第一章：行业变革5启明创投 未尽研究State of Generative AI 2023生态位与新物种生态位与新物种在生态系统中，每一个物种都拥有自己的角色和地位，即生态位。处于不同的生态位，则指示了不同物种之间的合作和竞争关系。AI 2.0 的生态同样如此。新的“模型即服务（MaaS）”企业，以及自建模型、微调模型或调用 API 服务市场具体应用场景的企业，蔚为这个生态中的“新物种”，寻找着属于自己的新市场，同时为竞争做着准备。以下是一些对于这些新物种的观察：OpenAI 是“新物种”的代表，率先打造出具备涌现能力的大模型，激活了整个生态系统。这让在 AI 1.0 时代有所成就的企业紧张，但又让更多的创业者与投资者兴奋。生成式 AI 的原生企业，它们遍布基础设施层、模型层和应用层。从提高研发和使用模型效率的工具链企业，到致力于打造下一代模型的大模型公司，再到众多通用或着面向行业的应用公司，这些企业的创新日新月异，为生成式AI 带来了无限活力。云巨头研发通用大模型，服务于自身业务，也对外开放API。微软旗下操作系统、生产力工具、企业管理系统、代码平台、安全套件都拥有了副驾驶（Copilot）；百度要把每个产品重做一遍。同时，这些巨头还在开发自己的芯片，谷歌已有了TPU，微软则是在研发雅典娜（Athena）。芯片厂商也在拓展自己的边界，英伟达针锋相对地推出了DGX Cloud，它还在强化赋能元宇宙（Omniverse）与大模型工厂（AI Foundations）的云平台。SaaS 巨头原本就是基于云的应用，正在从大模型汲取新的动能。未来，绝大多数 SaaS 企业都会是包含生成式 AI功能的 SaaS 企业。彭博等行业龙头开始防御性地采纳自有大模型技术，也盯着基础模型的机会。此外，还有闭源与开源的路线，由于 License 的限制，开源模型并不一定可以商用，并且开源模型无法确保在未来一直迭代来匹敌闭源模型的效果。而基于闭源模型，很多企业又会担心未来的迭代可能受制于人。应用模型云芯片芯片巨头（英伟达）科技巨头（微软等）SaaS 巨头（Salesforce 等）行业巨头（彭博等）自建模型的应用利用第三方模型的应用MaaSGPUDGX CloudState of Generative AI 2023第一章：行业变革6生成式 AI 亚马逊选择了采购 A100 芯片，自己搭建数据中心，这虽然能够压低一些成本，但仍然使英伟达获利颇丰。年均成本：亚马逊 AWS 数据中心按五年线性折旧，年均4 万美元。服务定价：假定亚马逊 AI 算力出租的收入，全部来自p4d.24xlarge，它向客户提供 8 片 A100 算力性能的加速服务。（亚马逊目前还规模化提供基于英伟达 V100、自研 Trainium 等硬件的算力服务，此处选取当前最主流的 A100 为测算基准。）如果承诺一年内稳定的用量（Compute Savings Plans），且不提前预付费用，目前它的每小时价格为 24.21 美元（美东俄亥俄的价格）。年均收入：如果客户一年 365 天一天 24 小时不停的租用算力，年均 21 万美元。该项服务的毛利率：那么，亚马逊该服务对应的毛利率将是 1-4/21=80.9%即如果生成式 AI 的生态持续扩展，市场繁荣，客户全年无休地渴求算力，那么亚马逊该项服务的毛利率最高可达80.9%。如果客户只有 50%的时间用到了它，那么 8 片A100 加速服务的年均收入就降到了不足 11 万美元，该项服务的毛利率就只有 1-4/11=63.6%，相当于外界预估的亚马逊云服务的总体毛利率。如果用户只有 20%的时间用到了它，那么收入只有 4 万美元，该项服务的毛利率为 0。事实上，AI 算力目前是稀缺资源，AWS 正在极大受益。定价模型：基础设施层新的应用要有新的基础设施。AI 2.0 的基础设施是以提供智能算力为中心的智算中心。无论是模型还是应用，它都离不开硬件厂商或云服务商。GPU 是训练模型与加速推理的关键算力硬件。大模型还拔高了对数据中心带宽、数据存储的门槛。云服务商会采购各类硬件，辅以冷却系统与运维服务，构建灵活、可扩展的 IaaS平台，按需为客户提供算力。传统云巨头获利颇丰。设备定价：假定亚马逊直接采购英伟达组装好的 DGX A100 平台。它集成了 8 片 A100 GPU，配置了内存、CPU、网络等软硬件组件，初始售价 20 万美元。实际上，说明：基于硬件 DGX A100 采购折旧价格与亚马逊 p4d.24xlarge 服务预购一年价格，未涉及运维与能耗等各种成本。未考虑不同地区不同时间的市场价格波动。未考虑承诺外用量的额外费用等。亚马逊云服务毛利率估算数据来自 Bear Stearns。假设所有机器都投入生成，仅根据用户的需求导致运转时间有差别，并未考虑有部分机器完全闲置的情况。例如所有机器都 50%的时间运转，而非 50%的机器完全闲置。定价模型：基础设施层亚马逊 AI 算力服务的毛利率，随客户需求提升而提升192840889779941007085916176825267733758643149254355223446（%）90%80%70%60%50%40%30%20%10%0%客户全年无休地租用服务，该项服务的毛利率 80%。客户租用不足 50%，该服务毛利率 60%，相当亚马逊云整体毛利率。客户 AI 算力需求情况亚马逊该项服务的毛利率第一章：行业变革7启明创投 未尽研究State of Generative AI 2023定价模型：模型层 平均算力成本主要由 GPU 性能等决定，每 FLOP 的价格平均每 2.5 年下降 40%-50%。算力使用效率取决于软硬件优化水平等。据谷歌 PaLM 的论文，在训练阶段，缺乏优化经验或堆叠过多芯片，效率可能低至 20%，目前谷歌与 OpenAI 都能达到 50%左右。前述机构推测目前推理阶段的效率在 25%左右。训练一次类似 GPT-3 的大模型，即 1750 亿参数规模，3000 亿 tokens，需要 6*1750*108*3000*108=3.15*1023 FLOPs 的算力需求。如果只用 1 片 V100，在 FP16 精度的28TFLOPS 的理论算力下，需要训练 3.15*1023/28/(1*1012)/(365*24*60*60)=357 年；要缩短训练时间，就要增加硬件投入，但算力使用效率就会下降。租 用 云 服 务，亚 马 逊 刚 推 出 8 片 V100 算 力 的p3dn.24xlarge 时，预购一年（Savings Plans)每小时 18.3美元。按 50%算力使用效率估算，在 2020 年时，训练GPT-3的成本约为357*(18.3/8)*365*24/50%=1430万美元。现实会复杂一点。不同云服务商的可用算力资源不同，价格也不同；大模型训练时长与并行多个模型同时训练的行为，也影响着算力使用需求。事实上，OpenAI 采购了 GPU，还得到微软支持，实际单次训练成本会比估算更低；但反过来，实际上训练一次是几乎不可能训练成功的，在大模型构建的过程中，存在着大量的失败和反复，此外为保证模型迭代的更快，需要进行大量的并行训练。即便打造出第一版大模型，后续模型的持续迭代的成本也无法避免。定价模型：模型层算力需求是模型层企业成本结构中，占比最显著的一部分。其他还包括数据收集与预处理、MLOps 工具、能源消耗等。算力需求可分为训练与推理两大阶段。一些机构提出了各自的估算方式，它们可以用一个公式来简单概括：每参数每 token 的算力需求是常数，在训练阶段一般为 6 FLOPs，推理阶段则为 2 FLOPs。其他几项共同导致了不同模型的不同成本，是降低成本的重要方向。参考论文 Scaling Laws for Neural Language Models，与 Semianalysis 等算力成本训练成本推理成本训练数据的规模提示与问答长度参数规模平均算力成本算力使用效率每参数每 token 算力需求State of Generative AI 2023第一章：行业变革8生成式 AI 定价模型：模型层Publication dateSep 26,2010Jul 31,2014Apr 26,2017Jan 21,2020petaFLOP0.11101001,00010,000100,0001 million10 million100 million1 billionAlexNetAlexNetGANsGANsResNet-152(ImageNet)ResNet-152(ImageNet)TransformerTransformerBigGAN-deep 512x512BigGAN-deep 512x512BERT-LargeBERT-LargeGPT-2GPT-2T5-3BT5-3BAlphaFoldAlphaFoldGPT-3 175B(davinci)GPT-3 175B(davinci)DALL-EDALL-ELaMDALaMDAPaLM(540B)PaLM(540B)VisionSource:Sevilla et al.(2023)Note:Computation is estimated based on published results in the AI literature and comes with some uncertainty.The authors expect the estimatesto be correct within a factor of 2.OurWorldInData.org/artificial-intelligence CC BY35 倍/18 个月摩尔定律（2 倍/18 个月）CPUGPU10 亿1 亿1000 万100 万10 万1 万10001001010.1训练算力（petaFLOP）随着 A100 逐步替换为 H100，推理成本也在下降。去年，OpenAI 的 gpt-3.5-turbo(4K context)的 调 用 价 格为 0.02 美 元/千 tokens。假 定 GPT-3.5 的 参 数 规 模 为1750 亿，用户调用时，输入 500 tokens 长度的提示词，获得 500 tokens 的内容输出，且这一推理过程完全基于A100 实现，算力使用效率为 25%，那么单次推理算力需求为 2*1750*108*(500+500)=3.5*1014FLOPs，单次推理成本为 19.22/8/(312*1*1012)/(60*60)*3.5*1014/25%=0.003 美元/千 tokens，毛利率约为 1-0.003/0.02=85%。OpenAI 具有先发优势，为在竞争中赢得更多市场，它的定价策略更为激进。目前，同样的 API，服务价格已较去年下降了 90%，低于 0.002 美元/千 tokens。推出更多样的相对高价的 API 服务，以及在算力硬件中提升更高性价比的H100 的占比，都有助于稳住毛利率。但这取决于英伟达的产能。目前，亚马逊尚未成规模地对外提供 H100 算力资源，因此无法参考亚马逊上 H100 的定价。即使忽略现实资源有限的情况，采用当前 Lambda 平台上 1.99 美元/小时的 1x NVIDIA H100 PCIe（该款芯片单片 FP16 理论精度 1513TFLOPS）服务，OpenAI 该服务的单次推理成本变为 1.99/(1513*1*1012)/(60*60)*3.5*1014/25%=0.00051 美元/千 tokens，毛利率约为 1-(0.00051/0.002）=74.5%，已低于去年。尽管如此，理论上，随着硬件性能提升，软件优化程度提高等，大模型的训练成本会随着时间的推移而下降。如果只用 1 片 FP16 精度下理论算力 312TFLOPS 的 A100，来 重 新 训 练 一 次 GPT-3，则 需 3.15*1023/312/(1*1012)/(365*24*60*60)=32 年。亚马逊刚推出 8 片 A100 算力的p4d.24xlarge 时，预购一年（Savings Plans)每小时 19.22美元，按 50%效率估算，目前，GPT-3 的训练成本已降至32*(19.22/8)*365*24/50%=135 万美元。去年，英伟达 H100 发布，性能进一步提升，也将带来成本 的 进 一 步 下 降。SXM 版 本 H100 的 FP16 精 度（FP16 Tensor Core），算 力 达 到 了 1979TFLOPS，是 SXM 版本 A100 的 624TFLOPS 的 320%。但 据 Lambda 测 算，H100 的训练吞吐量（Training Throughput）为 A100 的160%。当然，如果大模型参数持续膨胀，训练成本将令市场难以接受。在当前 GPU 以类似摩尔定律的进步速度提升的情况下，大模型参数规模的增长可能会遭遇瓶颈。一方面是算力硬件迭代速度跟不上，另一方面则是因为现实世界生产高质量的训练数据的速度也不够快。这也是为什么 OpenAI 的 CEO奥特曼认为，“现在已经接近巨型模型时代的尾声”，要寻找其他诸如分布式训练、任务调度优化等方式进一步提高训练效率。大模型参数规模增长速度超过摩尔定律图像驾驶游戏语言多模态其他语音视觉Task domainDrawingDrivingGamesLanguageMultimodalOtherSpeechVisionSource:Sevilla et al.(2023)Note:Computation is estimated based on published results in the AI literature and comes with some uncertainty.The authors expect the estimatesto be correct within a factor of 2.OurWorldInData.org/artificial-intelligence CC BY来源：Sevilla et al.（2023）发布时间第一章：行业变革9启明创投 未尽研究State of Generative AI 2023定价模型：应用层单次 1000 tokens)。当百万 DAU 时，单日成本为 6.5 万美元，千万 DAU 则达到 65 万美元。事实上，这类应用达到千万 DAU 非常不易。娱乐 Chatbot：吃掉了用户大量空闲时间。特点是高频(假设日均 100 次)，短输入(假设单次 50 tokens)，短输出(假设单次 50 tokens)。当百万 DAU 时，单日成本为 1.75 万美元，千万 DAU 则达到 17.5 万美元。事实上，娱乐 Chatbot 往往需要依赖上下文的记忆，如果计入记忆的 token，则单日成本还需增加数倍。应用企业通过预估每次输入输出需要用到的 token 数量，以及自己想达到的 DAU，即可预估出每天在大模型 API 上的开销。当然，这就是充满混乱与诱惑的早期市场。想要达到百万和千万量级的 DAU 需要企业跑得越快。但由于竞争，应用层企业的利润空间很快就可能收窄，例如 Copy.ai 的定价策略就与 Jasper 针锋相对，用更低的价格夺取市场。即便现在是生成式AI的早期市场，在拥有多家创业企业的特定市场中，单纯调用 API 的应用企业更可能无法做到差异化，那么行业整体毛利率的下降将很快到来。定价模型：应用层应用层企业的成本结构中，除了软件本身的成本外，就是调用大模型 API 时产生的费用，这部分的成本与活跃用户规模、单个用户日均推理次数，单次推理输入提示词与预置文本的长度，单次推理输出的内容的长度等相关。这些变量又与应用层企业所在的应用场景相关。有些场景用户量较少，或问答频次较低，但需要更长的提示词或预置文本让大模型更懂自己。有些场景问答则相对简短，但用户与大模型间可能会聊得停不下来。假设现有三家应用企业，调用 OpenAI 的 gpt-3.5-turbo（4K context）服务，该模型的计费规则为输入$0.0015/1K tokens，输出$0.002/1K tokens，它们对应如下应用场景：查询工具：企业内部知识查询，偶尔遇到问题，就查询一下。特点是低频(假设日均 3 次)，短输入（假设单次 50 tokens），中等输出(假设单次 300 tokens)。当百万 DAU 时，单日成本为 0.2 万美元，千万 DAU 则达到 2.03万美元。研究助手：日常工作和研究使用。特点是中频(假设日均 10 次)，长输入(假设 3000 tokens)，长输出(假设不同应用场景下的推理成本变化DAU:万研究助手娱乐Chatbot查询工具单日成本：万美元1001010.10.010.0010200400600800100012006.56517.51.752.030.2State of Generative AI 2023第一章：行业变革10生成式 AI 企业运营发生改变 守成者：这类玩家受到传统业务既得利益的束缚，转型缓慢。企业将受到市场冲击，如果不采纳 AI 2.0，将会因为市场竞争对手提供了差异化的产品，逐步失去市场；如果采纳 AI 2.0，但一时又无法提价，就会因额外 AI 成本的上升，导致利润下滑。谷歌的搜索业务就是如此。它成为市场眼里的守成者。微软 CEO 纳德拉声称，搜索的毛利率将永远下降。创新者：这类玩家积极拥抱了新的技术，为原有产品提供了新的功能，甚至是新产品新品类，获得了服务溢价与竞争溢价。尽管企业也需要支付额外的 AI 成本，但涨价弥补了这一切，让它的利润较之前有所提升。微软是创新者的代表。最近，微软宣布 Microsoft 365 Copilot 涨价40%。很多 SaaS 企业最终都会如此。Notion 为它的 AI每月收费10美元，相当于为其最受欢迎的那档订阅服务，提价了 100%。采纳者：还有部分企业只是在公司内部业务流程中采纳了新技术。这能压缩研发人员、行政人员、销售人员等人力成本。多项研究表明，知识工作的岗位，受本轮生成式人工智能的冲击较大。此外，随着人员缩编，流程优化，沟通中的效率损耗也随之减少。目前，已有券商用生成式 AI来帮助阅读财务报告，律所用来起草合同文本，营销企业用来撰写文案，软件企业用来编写代码，客服用来回答问题。不同行业甚至同一行业内不同企业，内部的岗位结构不同，受 AI 2.0 暴露影响的情况也不同，企业的利润表变化差异也会较大。现有研究普遍认为，客户互动、文书撰写、代码编写、资料搜索与收集、数据分析研究等工作内容及工作时间占比较高的金融及咨询行业、客服行业、营销行业、软件行业将是AI 2.0的最积极的采纳者。如果其中一半工作可以由 AI 2.0 取代，将节省大量人力成本。创新者与采纳者之间的界限并非那么清晰。采纳者也可以在重塑自己的业务流程后，对外服务，赢得创新溢价。创新者也可以利用 AI 技术，提升服务溢价的同时，减少自己的研发成本。比如 SaaS 服务商，在交付软件扣除成本后，可以将剩余的毛利润用于运营，即研发、行政、销售营销等。对初创期的 SaaS 服务商而言，研发与营销的成本往往很高；对于成熟期SaaS运营商而言，销售成本占比又往往难以下降。即使是被颠覆者，也还有调整架构的机会。面对冲击，除了模型优化与算力提升外，谷歌正在围绕大模型走向生成式搜索，重新设计自己搜索业务与广告引擎的技术架构与用户体验。企业运营发生改变生成式人工智能不仅意味着技术变革，还意味着流程再造。面对 AI 2.0 的冲击，市场诞生了三类玩家：守成者的利润表创新者的利润表采纳者的利润表原售价原售价原售价涨价原成本原成本AI 成本AI 成本目前利润目前利润降本增效原利润原利润原成本AI 成本目前利润原利润120100806040200120100806040200160140120100806040200第一章：行业变革11启明创投 未尽研究State of Generative AI 2023市场格局市场格局说明：不完全列举。部分企业尚未进行公开宣传，或无 Logo 等宣传资料，暂不予展示。部分企业横跨多个领域，此处仅列入相对典型的一项。AI 1.0 时期，从 2012 年到 2015 年，AlexNet 等技术突破促使 AI 成为创业和投资热潮，融资数量不断上升。但由于产业落地不畅，此后总融资额和新创立的 AI 企业的数量开始下降。市场在 AI 2.0 时期重新活跃。去年底以来，每周都有新的生成式 AI 产品发布。据 CB Insights，这个领域全球至少诞生了 13 家独角兽企业。中国没有错过这一轮技术创新。5 月底，科技部旗下研究中心新发布的中国人工智能大模型地图研究报告统计，近5 年来，中国研发的大模型数量排名全球第二，仅次于美国；2023 年中国发布的大模型数量超过了美国。科技巨头吸引了更多的目光，但初创企业孕育着新的希望。它们或者迭代上一代 AI 技术，或者创造新的产品与服务。文本与图像是目前相对成熟的两大模态，与美国类似，中国同样有较多的初创企业聚焦于此，但它们正在寻找如何将其融入视频、3D、编码等更多模态。部分原 AI 1.0 时代的初创企业开始转型，计算机视觉、语音识别、自动驾驶乃至生物医药等企业，迅速结合业务数据与应用场景，将其融入了大模型，试图用更泛化的能力解决更普遍的行业痛点。创新正在外溢至周边领域，元宇宙、数字人等也在通过靠近 AI 2.0 获得新的活力。法律、金融与营销领域存在更明确的新机会，无论是搜索、翻译、对话、摘要还是创作，都已有初创企业的身影；游戏、家装、服装等行业的概念图设计，也正在交给生成式人工智能。有些则更通用一点，为不同企业各自员工学习公司或行业知识，提供了更便捷的交互界面。更多的增量正在被发掘出来，现在仍是 AI 2.0 的早期，基础架构和核心技术并不特别成熟；巨头忙于研发大模型，尚未顾及深度切入具体应用场景。这是初创企业的蓝海，也有航道下的暗礁。市场地图大模型工具链语言类多模态心理游戏视频音乐通用写作法律营销与销售HR企业搜索语音/STT/TTS流程自动化图像 数字人3D 生成金融State of Generative AI 2023第一章：行业变革12生成式 AI GPT-3 之后的新公司 GPT-3 之后的新公司 截止到 2023 年 Q1，根据启明创投投资团队与超过 100 家在 GPT-3 发布后成立的大模型和生成式 AI 相关的中国创业企业的交流，其中，将近 30%做语言类应用；企业数量最多是多模态应用方向，占比 57%；大模型企业，以及为更好地训练和应用大模型提供支持的工具链企业共占比 14%。在100余家公司的具体方向中，ChatBot占11%，而生产力工具占得最多，高达65%，包括文案写作、图像生成、视频脚本生成、3D 资产生成等。以下是截至 2023 年 Q1 的生成式 AI 市场情况：生成式 AI 创业领域（截至 2023 年 Q1）基于启明创投团队交流过的 100 余家企业的统计。娱乐 ChatBot ChatBot 引擎 游戏 ChatBot 心理 ChatBot 咨询助手 求职助手 健康助手 心理咨询服务 数据合成服务 写作平台 营销文案 合同审核 企业搜索 图像生成/编辑 视频生成 3D 资产生成 动作/表情生成 代码生成 表格生成 语音生成 软件动作(Web)软件动作(APP）高性能分布式训练 神经网络结构搜索 向量数据库 语言大模型 决策大模型第一章：行业变革13启明创投 未尽研究State of Generative AI 2023GPT-3 之后的新公司 生成式 AI 创业领域（截至 2023 年 H1）基于启明创投团队交流过的近200 家企业的统计。娱乐 ChatBot ChatBot 引擎 游戏 ChatBot 心理 ChatBot 咨询助手 求职/招聘助手 求学助手 健康/医生助手 购物助手 企业问答助手 法律服务 心理咨询服务 数据合成服务 产业数据服务 写作平台 营销文案 合同审核 企业搜索 通用图像生成/编辑 To B 图像生成/编辑（电商、游戏、建筑)视频生成 3D 资产生成 动作/表情生成 代码生成 表格生成 语音生成 音乐生成 娱乐内容平台 软件动作(Web)软件动作(APP）高性能分布式训练 神经网络结构搜索 向量数据库 大模型应用开发部署平台 其他 通用大模型 决策大模型 垂直大模型（医疗、电商、科研、工业、自动驾驶）Autonomous Agents 通用机器人平台 大模型安全 大模型数据安全然而，市场发展是快速的，2023 年的 Q2 又涌现出大量的生成式 AI 创业企业，在 2023 年 H1 结束后，启明创投基于近 200家生成式 AI 企业的交流，观察到的生成式 AI 市场情况如下图：与 2022 年受到 Stable Diffusion 和 ChatGPT 刺激后快速涌现出的生产力工具方向的创业公司不同，2023 年有更多比例的新公司聚焦在底层技术的创新上，更多大模型公司和 infra 基础设施工具链公司在以技术大拿为主的创始人主导下成立。反映在数据上，具体表现为聚焦在底层技术的创业公司占比从 14%提升到了 29%，而生产力工具型的应用公司占比则从 65%下降到 46%。此外，在生产力工具的方向上，不同于此前仅微调 Stable Diffusion等开源模型的创业公司，最新涌现的创业公司往往由更高级别的 AI 人才领导。大模型创业公司开始分化，在通用大模型创业公司方兴未艾的同时，许多面向特定行业的垂直大模型公司开始出现，主要聚焦在医疗、电商、科研、工业、自动驾驶和机器人等方向。具备行业属性的智能助手方向的创业企业开始增加，如求职、招聘、求学、法律、健康、购物、企业知识问答等方向的个人助手和员工助手方向的创业公司持续涌现，这代表着在经过一段时间对 ChatGPT、Stable Diffusion 的熟悉后，具备更强行业知识和资源的行业老炮型创始人逐渐进入生成式 AI 领域。根据与这些公司的交流，启明创投发现市场上的创业公司呈现出以下趋势：State of Generative AI 2023第一章：行业变革14生成式 AI 大模型公司大模型公司通用大模型OpenAI 是模型层公司的代表，2020 年发布的 1750 亿参数的 GPT-3 曾一度是 AI 历史上最大的机器学习模型，相比于 15 亿参数量的 GPT-2，GPT-3 参数量提高约 117 倍，预训练的数据量也从 50 GB 提高到 570 GB。2023 年 3 月，OpenAI 发布的 GPT-4 则再次扩展了深度学习的边界，结合多模态能力达到了里程碑式的效果，并在各种专业和学术基准上表现出可以与人类媲美的水平。可以说，GPT-3 打响了大模型竞争的第一枪，而 ChatGPT 和 GPT-4 的出现进一步加速了大模型主导权的竞争，是否拥有一个大语言模型底座对于大模型企业后续进一步优化出更好的模型至关重要。ChatGPT 是 OpenAI GPT-3.5 优化后的模型和产品化体现，其背后的技术从 2018 年的 GPT-1（2018）开始，经过GPT-2（2019），GPT-3（2020）逐渐达到里程碑式的突破，此后 2 年内 GPT-3 又经过两次重要迭代，引入基于人类的反馈强化学习系统（RLHF）后形成 ChatGPT。从 ChatGPT的发展可以看出，对于模型层公司来说，技术的演进极为重要，公司需要极强的技术掌舵人和融资能力来保障研发投入的稳定性。此外，通过对海外市场的观察，我们发现当前大模型竞赛中，由高级别 AI 人才主导的创业公司更加领先，例如 OpenAI,Anthropic 和 Cohere 等公司皆是如此。同样，类似 Adept,Inflection 和 Character.ai 等公司以极快速度实现了极高的估值，也表明顶级的 AI 人才正在通过研发大模型来构建有壁垒的应用，以此参与到生成式 AI 领域的竞赛中，而市场也更青睐这些顶级 AI 人才创立的公司。code-cushman-001(CodeX/Copilot)text-davinci-001(InstructGPT Initial)千亿基座模型代码逻辑能力text-davinci-002(InstructGPT)意图对齐生成正确的内容2020.062021.072022.032022.042022.052022.11有监督微调ChatGPT建模对话历史的能力text-davinci-003更强的上下文学习能力RLHF(面向对话)RLHFGPT-3 175B(D