2024年中国AI发展面临的挑战与应对之道.pdf

请仔细阅读在本报告尾部的重要法律声明 1 第二章 中国 AI 发展面临的挑战与应对之道 本章摘要本章摘要 中中美欧共同引领上一轮美欧共同引领上一轮 AI 创新创新。得益于政策支持、国内大市场以及大规模IT 教育投入所带来的人才红利，中美欧在上一轮 AI 浪潮中一同引领全球。在大模型在大模型 AI 时代，中美差距短期有所拉大。时代，中美差距短期有所拉大。在全新的大模型 AI 时代，美国占据优势。从支撑人工智能产业的四大要素来看，模型方面，美国在数量和质量上均领先中国；人才方面，中美人才数量居前，但美国高级人才队伍更为领先；算力方面，中国算力芯片及生态系统均落后于美国，智能算力差距在中美摩擦下进一步扩大；数据方面，虽然我国数据规模全球第二，但数据质量仍落后于美国。上述要素的差距导致中美发展 AI 走向了不同道路，中国积极拓展应用落地而美国更专注于探索 AI 大模型的能力边界。思考与启示：新时代，中国如何应对？思考与启示：新时代，中国如何应对？在算力领域，通过持续的工程优化，海外龙头算力芯片企业与主流开源大模型的适配效果较优，这坚定了我国发展国产算力芯片的信心。此外，传统架构下芯片的持续升级遇到瓶颈，新型计算架构芯片有望帮助我国算力硬件对美国形成加速追赶。在模型层面，当前大模型遵循规模定律（Scaling Law），但无论极限是否存在，我国都应积极研发自主大模型，这不仅是技术自主和产业升级的体现，也是保障国家 AI领域安全和推动科技经济持续稳健发展的关键。基于大模型的 AI 应用，当前尚处商用化早期阶段，国内市场面向个人和企业的应用“百花齐放”，移动互联网时代积累的应用产品经验和我国大而全的工业规模优势有望助力我国引领 AI 创新。在 AI 终端领域，中国具有全球领先的制造能力与品牌影响力，有望助力我国消费电子产业在新的 AI 时代实现追赶与领先。大规模市场、政策支持以及互联网时代积累的规模人才红利等是我国发展 AI 的优势，有望助力我国在算力层、模型层和应用层的全面追赶甚至超越。1 其他作者包括：成乔升 分析员，SAC 执证编号：S0080521060004，；王之昊 分析员，SAC 执证编号：S0080522050001，SFC CE Ref：BSS168，；温晗静 分析员，SAC 执证编号：S0080521070003，SFC CE Ref：BSJ666，；魏鹳霏 分析员，SAC 执证编号：S0080523060019，SFC CE Ref：BSX734，；李诗雯 分析员，SAC 执证编号：S0080521070008，SFC CE Ref：BRG963，；韩蕊 分析员，SAC 执证编号：S0080523070010，；黄天擎 分析员，SAC 执证编号：S0080523060005，SFC CE Ref：BTL932，；游航 分析员，SAC 执证编号：S0080523010001，SFC CE Ref：BTI822，；孔杨 联系人，SAC 执证编号：S0080122110018，；王倩蕾 联系人，SAC 执证编号：S0080122090111，；何欣怡 联系人，SAC 执证编号：S0080123070095， 彭虎彭虎 分析员分析员 SAC 执证编号：S0080521020001 SFC CE Ref：BRE806 赵丽萍赵丽萍 分析员分析员 SAC 执证编号：S0080516060004 SFC CE Ref：BEH709 于钟海于钟海 分析员分析员 SAC 执证编号：S0080518070011 SFC CE Ref：BOP246 陈昊陈昊 分析员分析员 SAC 执证编号：S0080520120009 SFC CE Ref：BQS925 更多作者信息请见脚注1。证券研究报告 2024.06.27 本中金公司研报由 Y i l i n.M a c i c c.c o m.c n 下载 请仔细阅读在本报告尾部的重要法律声明 2 一、中美欧引领上一轮 AI 创新 在此前的在此前的 AI 浪潮浪潮中中，中美，中美欧在全球占据明显的欧在全球占据明显的领先领先优势优势。根据中金研究院统计，2010-2023 年中国在全球引用量前 10%的 AI 顶尖文献中的发文数量占比呈现攀升态势，至 2023 年达到 33%；根据斯坦福大学AI指数报告，2010-2021 年中国在全球 AI 顶会论文被引占比同样不断增长，至 2021 年达到 22%。综合来看，美国、中国和欧洲在全球占据明显的领先地位。中国的领先，既得益于政策支持，同时也得益于国内大规模市场以及多年在信息工程领域的教育大规模投入所带来的人才红利。图表图表 2.1：全球引用量前全球引用量前 10%AI 文献的发文数量文献的发文数量占比情况占比情况和全球和全球 AI 顶会论文被引占比情况顶会论文被引占比情况 注：左图中，若一篇文献包含不同国家的作者，则按照作者数量均分到各国，数据截至 2024 年 4 月。资料来源：Openalex，斯坦福大学AI 指数报告（2023 年），中金研究院 （一）（一）政政策策支持：支持：从传统安防到智能物联，从传统安防到智能物联，奠基早期奠基早期 AI 企业发展企业发展 城市安防及城市安防及数字化数字化治理治理需求需求下智慧城市下智慧城市项目项目稳健稳健增长增长，为早期，为早期 AI 企业发展奠基企业发展奠基。根据 IDC 数据，2022 年我国智慧城市支出规模超过 300 亿美元。在政策支持下，国内大量的优质 AI 企业得以实现快速成长，产品能够持续迭代创新，丰富的数据也帮助了 AI 模型不断进步。截至当前，智慧城市类项目仍是国内 AI 企业重要的收入来源。（二）（二）大规模市场大规模市场：工业品类丰富，工业品类丰富，产值和效率不断提升产值和效率不断提升 中国中国工业规模大、体系全，为工业规模大、体系全，为 AI 应用奠定了应用奠定了良好良好的需求基础的需求基础。世界银行数据显示，2022 年，中国工业附加值为 7.2 万亿美元，占全球工业附加值比重达 26%。我国也是目前全球唯一拥有联合国全部工业门类的国家1。齐全的工业体系带来丰富的应用场景，庞大的工业规模带来广阔的应用需求，激烈的竞争环境驱动人工智能在工业场景的落地。政策支持、激烈的竞争环境和追求进取的企业家精神共同推动中国制造业智慧化转型。政策支持、激烈的竞争环境和追求进取的企业家精神共同推动中国制造业智慧化转型。过往中国制造业追求的是规模和速度，生产能力强、但品控意识弱。不过随着我国工业产品份额在全球市场大幅提升，过往的发展模式无法持续，同时伴随着生活水平的提升，人们对质量和品牌的意识不断加强。因此在激烈的竞争环境下，企业家们必须持续且快速地转型。这推动了更多信息技术和工业生产的结合，当前国内消费电子、汽 1 https:/ 0%10%20%30%40%2010-2023年引用量前10%的AI文献数量占比中国美国欧盟+英国0%10%20%30%40%2010-2021年全球AI顶会论文被引数量占比中国美国欧洲本中金公司研报由 Y i l i n.M a c i c c.c o m.c n 下载 请仔细阅读在本报告尾部的重要法律声明 3 车、光伏等产业已在定位组装、形状测量、缺陷检测等环节积极落地机器视觉系统。据高工机器人测算1，2023 年中国机器视觉市场规模达 185 亿元，并有望于 2024 年、2028 年分别超过 200 亿元、395 亿元。此外，中国制造业面临用工成本上升、劳动力供给下降等问题，推动无人化、自动化的渗透率不断提升。大规模市场下会有更多需求，也带来了更廉价的解决方案。大规模市场下会有更多需求，也带来了更廉价的解决方案。对工业化水平不断提升的追求推动了我国产业AI 过往几年的快速发展，诸如机器视觉、移动机器人等产业 AI 的规模落地又推动了质优价廉的大规模生产能力，从而奠定了我国在工业生产领域和行业 AI 应用的全球竞争力。中国中国 AI 市场已具备可观规模，伴随着社会智能化转型的加速正迎来更加广阔的发展空间。市场已具备可观规模，伴随着社会智能化转型的加速正迎来更加广阔的发展空间。根据 CIC 报告2，中国 AI 行业的市场规模在 2022 年已达 2,250 亿元，已具备广阔土壤并预期持续保持高增长，2022 至 2027年决策型 AI、视觉 AI、语音和语义 AI、AI 机器人分别预计年复合增长率为 31.7%、21.9%、25.2%和 22.3%。在规模基础之上，伴随多元垂域的智能化转型需求，中国 AI 软件侧发展具备有力支撑。垂类应用侧，中国在深度学习时代已具备竞争优势。垂类应用侧，中国在深度学习时代已具备竞争优势。在计算机视觉领域，国内商汤、旷视等公司在 2012 年深度学习浪潮中陆续成立，以高精度视觉算法赋能城市管理和商业管理。据中研网3，截至 2021 年，放眼全球视频监控市场，中国市占率约 47%，且国内 AI摄像头整体渗透率约 15-20%，远超海外市场（低于 2%）。此外，国内决策 AI 算法多项分支已超过海外，赋能传统行业数字化转型。据 Gartner 2021 年报告4，国内AutoML 算法在认知类问题的平均效果优于 98%数据科学家，超越谷歌 52 个百分点；其中银行个人信用评分中，国内 AutoML 可实现优于 99%数据科学家的准确度，超越谷歌 16 个百分点。据麦肯锡5报告，中国AI 赋能应用潜力可观，预计到 2030 年，AI 将为中国关键产业带来数千亿美元的经济价值。（三）（三）人才红利人才红利：智能终端：智能终端构筑构筑 AI 应用沃土，互联网生态引领算法迭代应用沃土，互联网生态引领算法迭代 人才的培养推动信息产业，繁荣的信息产业带动人才红利人才的培养推动信息产业，繁荣的信息产业带动人才红利。中国是传统重视 STEM 学科教育6的国家，过往大规模的教育投入培养了大量信息化人才。随着互联网时代的到来，早期充足的人才储备推动了我国信息产业的快速发展。根据经济日报援引自阿里研究院的数据，2023 年我国数字科技人才占全球总量 17%7，领跑全球。而国内巨大的产业机遇又带来了更多人才需求，行业待遇的提高推动了年轻人学习信息科学的意愿，造就了当前我国巨大的信息技术产业人才红利。信息产业已成为我国最为吸引人才的就业方向之一，根据新华网援引自智联招聘的数据8，我国 2024 届求职毕业生期望行业中，IT 互联网行业是应届生最向往的行业，占比达 26%。在互联网领域，我国已依托深度学习算法红利诞生了多家具有全球竞争力的头部企业。在互联网领域，我国已依托深度学习算法红利诞生了多家具有全球竞争力的头部企业。以电商和短视频行业为例，成立于 2015 年的拼多多，创新性的使用了分布式 AI 技术，其算法以流量分配为核心原则，基于用户需求通过推送模型实现“货找人”，为商户获客与销售增长提供了新的渠道。今日头条于 2012 年正式上线，在智能推荐算法的快速迭代下，TikTok 实现更精准的用户内容定制化推送，打造短视频的用户高沉浸度，据 Statista 报告显示，截至 2024 年 4 月，创立时间仅 7 年的海外版“TikTok”全球月度活跃用户数9超过 15.82 亿，已成为全球第五大用户体量的社交 APP。在激烈的竞争中，我国互联网公司早已借助 AI 技术脱颖而出，加速了互联网产业对于 AI 技术的投入。1 https:/ 2 第四范式招股书，2023 年。3 https:/ 4 AutoML 成就指数级增长-感知、认知、决策算法布局提升企业决策水平 ，2021 年。5探索人工智能新前沿：中国经济再迎 6000 亿美元机遇，2022 年。6 STEM 是科学（Science）、技术（Technology）、工程（Engineering）、数学（Mathematics）四门学科英文首字母的缩写。7 http:/ 8 http:/ 9 https:/ Y i l i n.M a c i c c.c o m.c n 下载 请仔细阅读在本报告尾部的重要法律声明 4 在在智能终端硬件智能终端硬件领域。领域。根据 Statista 和 IDC 数据，2022 年中国在智能手机、智能音箱、智能家用摄像头、智能门锁、智能家居五大智能硬件终端品类中，均获得 24%-31%的市占率，在全球市场遥遥领先。与互联网产业一样，人才叠加市场优势推动了智能化的快速发展，智能化又助力中国制造不断攻城略地，进一步推动了国内消费终端企业在智能化的投入水平。二、生成式 AI 时代，中国遇到的挑战 由生成式人工智能引领的科技由生成式人工智能引领的科技变革变革渐入繁荣，渐入繁荣，应用触角广泛延伸。应用触角广泛延伸。2022 年 11 月 OpenAI 发布基于Transformer 的 AI 对话机器人 ChatGPT，后者展现出的准确性和通用性迅速引发全球各行各业的高度关注，并在随后掀起了从基础大模型到终端应用的新一轮革新。本次变革的底层驱动是大模型语料规模大、参数规模大，例如 GPT 至 GPT-3 语料规模扩大约 9000 倍、参数规模扩大约 1500 倍。得益于“大”，用户的直观感受是模型生成效果显著增强，包括更高的输出准确度、更广泛的输出形式（不局限于文字）以及更低的输出成本，从而大大拓展了 AI 模型的应用场景，从早期的个性化推荐、智能客服扩展至艺术创作、办公软件交互、个人助理等，并加速自动驾驶、人形机器人等创新应用的落地。本轮本轮 AI 新新变革，变革，美国迈出了一大步美国迈出了一大步。从支撑人工智能产业的四大要素来看，模型方面，美国在数量和质量上均领先中国；人才方面，中美人才数量居前，美国高级人才队伍建设更为领先；算力方面，中国算力芯片及系统均落后于美国，智能算力差距在美国新政限制下进一步扩大；数据方面，中国数据量全球第一，但优质数据仍落后于美国。此外，支撑 AI 的发展还包括 PE/VC 等金融支持，中国也较美国处于劣势。（一）（一）模型：模型：美国在数量和质量上均美国在数量和质量上均领先领先中国中国 回顾过往，回顾过往，人工智能模型源起人工智能模型源起 20 世纪世纪 50 年代的美国，中国起步较晚。年代的美国，中国起步较晚。根据 Epoch AI 的“知名1机器学习模型”统计数据库，最早的机器学习案例是贝尔实验室在 1950 年发明的“迷宫解谜”机器老鼠 Theseus，其后至 2013 年底，美国、英国、日本、加拿大等十余个国家相继推出了 182 个“知名模型”，任务类型涉及视觉、语言、游戏、语音、算数、推荐等，而中国首个“知名模型”是何明凯等人在 2014 年发布的视觉识别网络结构 SPPNet，主要是对 R-CNN（2013 年）的改进。截至 2017 年 Transformer 模型发布之前，美国已积累了约 200 个2机器学习模型，包括被广泛应用的神经网络架构 CNN（1989 年）、RNN（1990 年）、GAN（2014 年）等，而中国学者发布的模型数量不到美国的 1/10。1 Epoch AI 统计的“知名模型”是指在 AI 或机器学习生态系统中具有影响力的模型。统计数据库来源 https:/epochai.org/data/epochdb/table 2 此处，若模型作者中同时包含美国学者和中国学者，则既算美国的模型、也算中国的模型，因此中美发布的模型数量可能存在交叉。本中金公司研报由 Y i l i n.M a c i c c.c o m.c n 下载 请仔细阅读在本报告尾部的重要法律声明 5 图表图表 2.2：国内外：国内外主要主要大模型参数量对比大模型参数量对比 注：数据截至 2024 年 6 月 5 日；最新的 GPT-4o、Claude 3 系列模型、Gemini 1.5 Pro 等大模型，官方未公布参数规模数据，故未体现在上图中。资料来源：Epoch AI，中金公司研究部 当前当前，美国在前沿探索上更为活跃，且模型，美国在前沿探索上更为活跃，且模型质量质量和认可度和认可度领先领先中国。中国。从数量来看，从数量来看，根据斯坦福 2024 AI 指数报告，2023 年美国、中国分别发布 61 个、15 个“知名模型”，而在 2020 年美国、中国的发布数量分别为51 个、12 个，在 ChatGPT 点燃全球 AI“百模大战”之际，美国在大模型方向上的成果输出愈发活跃，并进一步拉大与中国的差距。对比参数量来看，对比参数量来看，GPT-4 包含 1.8 万亿个参数1，而 PanGu-拥有 1.085 万亿个参数2。对比性能来看，对比性能来看，智谱 AI 于 2024 年 1 月推出的基座大模型 GLM-4 整体性能接近美国前沿水平3，GLM-4 在英文基础能力（MMLU、GSM8K、MATH、BBH 等）上达到 GPT-4 91-100%不等的水平，在指令跟随能力（IFEval 的 prompt、instruction 级别）上达到 GPT-4 85-90%的水平，在中文对齐能力和长文本能力上超过 GPT-4。业界认可度方面中美业界认可度方面中美尚有尚有差距，差距，据 Epoch AI 统计，截至 2024 年 5 月 10 日，美国AI 模型相关研究中被引用次数最多的高达 15.7 万次（视觉模型 ResNet152），语言模型 Transformer、BERT则分别被引 8.7 万次、7.1 万次，中国被引最多的约 3.1 万次，且被引次数前五均为视觉模型、而非语言类基座模型；AI 框架的使用也存在类似差距，截至 2024 年 5 月 10 日，GitHub 上 Meta TensorFlow、Google PyTorch 分别被引用 7.39 万次、2.11 万次，百度 PaddlePaddle、华为 MindSpore 分别被引用 5400 次、679 次，即使在国内，TensorFlow 和 PyTorch 的使用比例也更高，达 64%4。（二）（二）人才：人才是基石，中美人才：人才是基石，中美 AI 人才人才队伍大幅领先队伍大幅领先 从现状看，从现状看，中美两国人才储备中美两国人才储备领先他国领先他国，但中国较美国仍有差距，但中国较美国仍有差距。推动AI发展的核心是人才，根据MacroPolo全球 AI 人才追踪 2.0数据显示，2022 年排名前 2%、20%的 AI 人才中，在中美两国工作的比例接近70%，可见中美两国 AI 人才储备在全球处于领先地位。但对比来看，美国对 AI 人才的吸引力更大，中国人才培养基础不弱、但存在人才流失的难题。例如，2022 年在美国完成博士学位的 AI 人才中有 77%选择留 1 Dylan Patel and Gerald Wong,GPT-4 Architecture,Infrastructure,Training Dataset,Costs,Vision,MoE,July 2023.Source:https:/ 2 Xiaozhe Ren et al.,PanGu-:Towards Trillion Parameter Language Model with Sparse Heterogeneous Computing,March 2023.3 https:/ 4 https:/ TransformerELMoBERTGPT-2T5Turing-NLGGPT-3Switching TransformerDALL-ECLIP盘古NLPPLUG盘古CV悟道OPT紫东太初源1.0Megatron-TuringERNIE3.0GLaMPaLMCoCaGatoM6-OFACogVideoStableDiffusion书生2.0ChatGPTPaLMPaLM-EPaLM-EGPT-4PanGu-Claude2Falcon-180BChatGLMGemini Nano-2通义千问1.5日日新4.0MM1LLaMA3-70B1101001,00010,0002017年2018年2019年2020年2021年2022年2023年2024年参数量（亿）参数量（亿）发布时间发布时间语言语言多模态多模态美国美国中国中国其他其他本中金公司研报由 Y i l i n.M a c i c c.c o m.c n 下载 请仔细阅读在本报告尾部的重要法律声明 6 美就业，而排名前 20%且留美就业的顶尖人才中有 38%来自中国（比来自美国的还多）。动态地看，中国动态地看，中国人才队伍逐渐壮大人才队伍逐渐壮大。MacroPolo 数据显示，前 2%顶尖人才在国内工作的比例由 2019 年的低于 6%提升至 2022 年的 12%，前 20%顶尖人才在国内工作的比例由 2019 年的 11%提升至 2022 年的28%，且在美攻读博士学位后选择在中国发展的人才比例也由 2019 年的 4%提升至 2022 年的 8%，反映了中国对顶尖 AI 人才的吸引力逐渐增强。随着国内对人工智能相关产业的进一步扶持、人工智能人才待遇的进一步提高，我们认为中国人才储备有望继续扩充壮大。图表图表 2.3：中美：中美 AI 领域人才情况对比领域人才情况对比 资料来源：MacroPolo全球 AI 人才追踪 2.0，中金公司研究部（三）（三）算力：先发优势持续巩固算力：先发优势持续巩固，硬件基础设施与软件生态均有差距，硬件基础设施与软件生态均有差距 1、硬件水平存在差距，供应链面临受限问题 算力硬件是大模型和通用人工智能技术发展的底层基础，其中算力芯片是整个硬件系统的核心。算力硬件是大模型和通用人工智能技术发展的底层基础，其中算力芯片是整个硬件系统的核心。因模型参数量、处理数据量增长迅速，对硬件性能要求也从单芯片指标维度扩展到分布式计算系统。我们常用单芯片我们常用单芯片算力、显存及显存带宽、芯片间互联带宽、节点间互联带宽等核心指标衡量算力硬件的系统能力，各指标算力、显存及显存带宽、芯片间互联带宽、节点间互联带宽等核心指标衡量算力硬件的系统能力，各指标相辅相成，不存在明显短板的系统才可称之为“优质算力”。相辅相成，不存在明显短板的系统才可称之为“优质算力”。在上述评价体系下，我们看到美国产品全球领先，且具有明显的先发优势，全球算力产业链被著名芯片设计企业英伟达（NVIDIA）所引领。英伟达以其GPGPU（General Purpose Graphic Processing Unit，通用计算图形处理器）架构产品垄断算力芯片市场，根据 Precedence Research 提供的数据，2022 年全球 AI 芯片市场中英伟达份额占比超过 80%，且提供从芯片到系统的全栈解决方案。0%20%40%60%80%100%本科工作2022年前年前2%AI人才的本科和工作所在国对比人才的本科和工作所在国对比美国中国法国德国加拿大其他0%20%40%60%80%100%本科工作2022年前年前20%AI人才的本科和工作所在国对比人才的本科和工作所在国对比中国美国欧洲加拿大英国韩国其他38%37%7%6%2%10%2022年在美就业的前年在美就业的前20%AI人才国籍人才国籍中国美国印度欧洲加拿大其他2X（4nm3nm？）(Tensor core/DSA/HBM)（先进封装、光电转换）（FP8 FP4？）（数据并行）（实际计算量减少）（量子计算、光子计算）算力市场1,000X+10X+本中金公司研报由 Y i l i n.M a c i c c.c o m.c n 下载 请仔细阅读在本报告尾部的重要法律声明 14 对于未来 AI 算力发展，无论“规模定律”的极限短时是否会被发现，Transformer 的技术路径是否会被颠覆，大模型整体计算量的需求增长持续性是确定的。面对当前摩尔定律、冯诺依曼架构芯片支持算力市场需求增长日渐乏力的痛点，研发研发近存计算、量子计算、光子计算等创新型近存计算、量子计算、光子计算等创新型计算架构计算架构芯片芯片是行业未来可能的发是行业未来可能的发展方向。鉴于当下创新型计算架构并不存在成熟的解决方案，我国算力硬件企业通过“换道”实现对美国展方向。鉴于当下创新型计算架构并不存在成熟的解决方案，我国算力硬件企业通过“换道”实现对美国加速追赶可能性增加加速追赶可能性增加，但这也对我国相关人才的创新能力提出了更高要求。（二）（二）模型层：底层模拟人脑机制，商业价值具备规模效应模型层：底层模拟人脑机制，商业价值具备规模效应 1、模型层的“物理属性”是什么？模型层“物理属性”是以主流连接主义为背景，底层不断模拟人脑神经元的工作机制。模型层“物理属性”是以主流连接主义为背景，底层不断模拟人脑神经元的工作机制。深度学习神经网络是基于多层感知机理论发展起来的，引入了多个隐藏层并不断优化算法来实现学习效果的提升。1986 年，BP 算法被提出1，具有很强的函数复现能力；1998 年，LeNet-5 模型出现2，是第一个正式的卷积神经网络；2006 年，深度信念网络模型问世3，掀开深度学习网络复兴的序幕；2012 年，深度神经网络走向商用，发展迎来高峰。实现通用智能需要“量变到质变”，实现通用智能需要“量变到质变”，大模型参数量已达到万亿级，但与人脑突触的数量级还存在较大差距。大模型参数量已达到万亿级，但与人脑突触的数量级还存在较大差距。低级的动物智能进化到人的智能的过程中，并没有明显的分界线，智能本质上是量变到质变的过程。研究发现，线虫是最简单的有神经系统的生物之一，身体共约 1,000 个细胞，其中 302 个为脑细胞4，全部神经元之间约 7,000 个连接5。人脑中约有 10 的 11 次方个神经元、10 的 15 次方个突触。与生物智能类似，人工智能也正在通过积累量变持续提升，最终有望实现质变。人工智能模型的算力提升主要通过提升深度学习中层体的深度和每层神经元的连接稠密度，从而实现神经元总数量和单个神经元连接的数量提升。当前大模型的万亿级参数，与人脑突触的数量级尚存在较大差距。模型层实现“量变”的前提是重前置投入，进而带来落地的低边际成本。模型层实现“量变”的前提是重前置投入，进而带来落地的低边际成本。对于通用智能大模型而言，重前置投入者方能带来低边际成本。大模型底层模拟人脑通用智能，蒸馏出的小模型体现出更强的泛化能力，且边际成本大大降低，从通用大模型到小模型蒸馏落地的路径已经成为产业界主流方向。在训练大模型背景下，资本壁垒、技术壁垒极高，为 AI 巨头之间的博弈。资本壁垒主要体现在算力集群使用成本，斯坦福HAI研究所测算GPT-4和Gemini Ultra的训练成本分别高达7800万和1.91亿美元6。据Translink Capital，截至 2023 年底，全球范围内大模型厂商累计融资额超 140 亿美元。技术壁垒包括显存问题、芯片间通信问题、万卡集群的工程难度、计算资源利用率的挑战等，均考验综合能力。预训练大模型高前置投入，在大模型产业链成本中占比最大。预训练大模型高前置投入，在大模型产业链成本中占比最大。据微软 Build 2023 开发者大会，模型预训练需基于千卡-万卡算力集群并耗时数月完成7，时间比重占总训练过程的 99%以上8，其算力与时间成本为后续部署落地的数十倍。英伟达 GTC 2024 大会提到，1.8T 参数量的 GPT-MoE 模型需要用 8000 张 H100训练 90 天9。考虑到预训练的高前置投入，模型层与应用层厂商形成明确分工。1 David E.Rumelhart,et al.,Learning representations by back-propagating errors,October 1986.2 Yann Lecun,et al.,Gradient-based learning applied to document recognition,November 1998.3 Geoffrey E.Hinton,et al.,A Fast Learning Algorithm for Deep Belief Nets,July 2006.4 J.G.White,et al.,The structure of the nervous system of the nematode Caenorhabditis elegans,November 1986.5 Steven J Cook,et al.,Whole-animal connectomes of both Caenorhabditis elegans sexes,July 2019.6 Ray Perrault,et al.,Artificial Intelligence Index Report 2024,April 2024.7 https:/karpathy.ai/stateofgpt.pdf 8 https:/iliyaml.github.io/about/9 https:/ 本中金公司研报由 Y i l i n.M a c i c c.c o m.c n 下载 请仔细阅读在本报告尾部的重要法律声明 15 大模型落地边际成本持续下探，部分领域已打破劳动力市场均衡，有望实现规模化推广。大模型落地边际成本持续下探，部分领域已打破劳动力市场均衡，有望实现规模化推广。根据ARK：Big Ideas 2024，以 2023 年 3 月 14 日发布的 GPT-4-32k 为基准，2023 年 11 月 6 日发布的 GPT-4 Turbo实现推理成本下降 92%、上下文窗口长度提升 4 倍、处理速度提升 4 倍。由此可见，推理成本不断优化，模型性能边界持续扩容。在推理成本下探趋势下，AIGC 赋能文案撰写等领域已实现成本骤降，打破原有劳动力市场均衡。据 ARK 统计，每千字文案撰写的人工成本超 100 美元，GPT-4 32k 能以中等 GRE 辨析写作水平将成本下压至 0.16 美元，Claude 2 将成本下降至 0.04 美元，性能进一步提升，当大模型突破以 GPT-4 为代表的技术临界点，落地边际成本有望趋近于互联网时代的零分发成本。2、如何理解大模型时代的规模定律？大语言模型遵循规模定律（大语言模型遵循规模定律（Scaling Law），即大语言模型性能随着模型规模的指数级扩大呈线性改善，当），即大语言模型性能随着模型规模的指数级扩大呈线性改善，当提升模型参数量、数据量或计算量时，模型表现提升模型参数量、数据量或计算量时，模型表现会更优。会更优。根据 Kaplan Scaling Law1，控制模型参数量、数据量、计算量三者其二恒定，模型性能与前述各因素均呈现幂律关系。为了达到最佳性能，模型参数量、数据量和计算量必须协同扩大。此外，Kaplan Scaling Law 指出大参数模型较小模型更具样本效率，能够在更少的数据和优化步骤中达到相同性能水平；算力固定时，增加模型参数量对模型性能提升的贡献将大于单纯增加数据量或改进数据输入方式。Hoffmann Scaling Law2与与 Kaplan Scaling Law 大致类似，但认为在给定算力限制大致类似，但认为在给定算力限制的情况下，模型规模的情况下，模型规模与数据量应被赋予相同权重。与数据量应被赋予相同权重。DeepMind 在使用不同规模的数据（从 5B 到 500B tokens）训练超过 400 个不同大小的模型（从 70M 到超过 16B）后发现，模型参数量和训练数据规模需要等比例增大，才能达到最优训练效果，而 Kaplan Scaling Law 则倾向于为增加模型参数量分配更大权重。图表图表 2.10：大模型性能与计算量、数据量和参数量呈幂律关系，三者需协同扩大带来性能提升：大模型性能与计算量、数据量和参数量呈幂律关系，三者需协同扩大带来性能提升 资料来源：Jared Kaplan,et al.Scaling laws for neural language models,January 2020，中金公司研究部 目前业界和学界就规模定律是否存在极限有分歧，反方主要针对现阶段大模型的理解世界能力目前业界和学界就规模定律是否存在极限有分歧，反方主要针对现阶段大模型的理解世界能力3和未来发和未来发展的可能性边界提出质疑，正方则认为目前规模定律尚未达到极限，并就上述质疑提出反驳。展的可能性边界提出质疑，正方则认为目前规模定律尚未达到极限，并就上述质疑提出反驳。反方观点认为，随着模型规模指数级增长，模型或面临诸多关键技术原理及性能边界的挑战。反方观点认为，随着模型规模指数级增长，模型或面临诸多关键技术原理及性能边界的挑战。1）高质量）高质量数据或被耗尽：数据或被耗尽：根据 Pablo Villalobos 等人的研究，高质量语言数据、低质量语言数据和图像数据或将分 1 Jared Kaplan,et al.,Scaling laws for neural language models,January 2020.2 Jordan Hoffmann,et al.,Training Compute-Optimal Large Language Models,March 2022.3 下文中提到的“理解”、“感觉”、“人类心智”等术语在学术上无统一的定义，相对抽象，因此或是导致学者观点分歧的原因之一 本中金公司研报由 Y i l i n.M a c i c c.c o m.c n 下载 请仔细阅读在本报告尾部的重要法律声明 16 别在 2026 年、2030-2050 年和 2030-2060 年耗尽，若未来数据效率没有大幅提高或没有新的数据来源，规模定律或将不再具有可实施空间1。2）参数效率低下：）参数效率低下：根据 Hoffmann Scaling Law，参数量应与训练数据规模等比例增大，但是目前部分大模型的训练数据集规模相对较小，无法与其庞大的参数量相适配，导致模型中存在冗余参数，影响模型泛化能力和总体表现2。3）梯度不稳定：）梯度不稳定：随着模型规模和序列长度的增加，训练损失和梯度方差的波动更大，导致模型训练时的稳定性下降，难以收敛3。4）长期任务困境：）长期任务困境：目前基准测试主要分为两类，a.评估模型的记忆、召回、插值能力，例如 MMLU、BIG-bench 和 HumanEval，b.长期任务执行或处理复杂概念，例如 SWE-bench 和 ARC。大模型在前者展现出和人类相当的水平，而在后者表现并不出色。以 SWE-bench 测试为例，大模型需自主处理拉取请求（Pull Request）任务，GPT-4 和 Claude2 分别只能完成 1.7%和 4.8%，这表明其在处理长时间跨度的复杂信息的能力仍有较大提升空间4。5 5）无法真正理解世界：）无法真正理解世界：深度学习先驱 Yann LeCun 认为真实物理世界的理解和推理需要依赖“世界模型”5，目前主流大模型主要基于自回归路径，不同于人类的思维方式（能够融会贯通、举一反三），无法真正理解世界，因而不是通往 AGI 的有效途径；仅依靠模型规模的增加（即 Scale up）并不能解决所有问题，特别是在模型达到一定规模后，性能提升可能会遇到瓶颈，因此算法创新和架构改进具有重要意义。斯坦福大学教授李飞飞指出，通用智能的基本特征之一是感觉（sentience），即具有主观经验（例如感到饥饿和看到红色），而大模型是数学模型，没有生理状态，不具备感觉能力6。6）是经验性定律，而非自然）是经验性定律，而非自然定律：定律：规模定律并非类似重力的自然定律，而是类似摩尔定律的由人类观察得出的经验性规律，其正确性有待进一步确认，而摩尔定律自十年前已开始放缓，规模定律未来或面临边际效益递减，并体现在真实性、推理能力和常识水平等指标上7。正方观点认为，规模定律是大模型的第一性原理，且尚未达到极限。正方观点认为，规模定律是大模型的第一性原理，且尚未达到极限。1）合成数据有望缓解高质量数据即）合成数据有望缓解高质量数据即将被用尽的担忧：将被用尽的担忧：合成数据可以减少对真实世界数据的依赖，提高数据质量，可用于构建虚拟环境、增强交互体验，拓宽应