人工智能大模型探析.pdf

摘要院大模型是指至少具有数百万至数十亿袁甚至千亿以上参数的大型语言模型遥大数据和云计算为大模型的实现提供可能袁大参数模型效果突出袁或有可能成为通向通用人工智能的路径曰但同时袁数据和算力不足也制约大模型参数的无限制增长曰大模型自身还存在多个未解之谜袁其未来将向通用化和专业化方向发展遥 大模型汇聚了人工智能尧大数据和云计算等技术袁本文探讨如何运用大模型实现数智融合袁以及人工智能时代企业和个人的应对之道遥关键词院人工智能曰大模型曰数智融合曰AI 工具2022 年 11 月 30 日袁美国 OpenAI 公司发布了ChatGPT袁 因其与人类自然语言对话的出彩表现袁使得人工智能渊Artificial Intelligence袁AI冤受到前所未有的关注遥 其背后生成式预训练转换器大模型GPT渊Generative Pre-trained Transformer冤受到热捧袁类似 ChatGPT 的 AI 产品爆发式增长袁预示着数字化和智能化融合的数智时代即将开启遥当前袁大模型成为企业最为关注的热点遥 互联网大企业关注如何训练出自己的通用大模型袁以便做出可以和 ChatGPT 媲美的产品曰 垂直行业的IT 企业关注如何开发专用大模型袁提升行业 AI 应用水平曰而众多传统企业则关注如何将 IT 系统接入大模型袁以获得 AI 能力遥本文全面介绍大模型的起源尧限制袁存在的未解之谜和未来发展方向袁 探讨如何运用大模型实现数智融合袁 提出 AI 时代企业和个人的应对之道遥大模型的演进与发展大模型通常指深度学习中的大型神经网络模型袁至少具有数百万至数十亿袁甚至千亿以上的参数规模遥 千亿级参数及以上规模的大模型训练需要投喂大量的数据语料袁需要大算力遥 大数据和云计算为大模型的实现提供可能袁 指示了大模型的来路遥1.大模型练功时代2017 年 6 月袁Google 机器翻译团队发表了论文 Attention is all you need袁 论证了只基于注意力机制的 Transformer 转化模型简单有效袁 指出了增加层数和节点数提高模型性能的路径袁 从而引发各开发机构纷纷入局试验遥 试验的内容主要包括参数大小尧训练数据大小对模型性能的影响袁也包括模型能耗试验和多模态试验遥 这篇论文开启了大模型的练功时代遥增加参数数量袁提高大模型性能袁成为这一时代大模型练功的主要方向遥 以 OpenAI 的 GPT 大模型为例袁2018 年 6 月袁第一版 GPT渊称为 GPT-1冤的参数数量为 1.1 亿袁训练数据约为 5GB曰2019年 8 月袁GPT-2 的参数数量为 15 亿袁 训练数据为40GB曰 而到 2020 年 5 月的 GPT-3袁 参数数量为1750 亿袁训练数据为 45TB遥 而支持 ChatGPT 的预训练模型就是在 GPT-3 的基础上用大量 RLHF渊Reinforcement Learning from Human Feedback袁即通过人类反馈进行强化学习冤 自监督的文本微调而来的袁 这个版本被称为 GPT-3.5袁 是它成就了ChatGPT 完成对话任务的优秀表现遥2.大模型竞赛时代2022 年 11 月 30 日袁在 ChatGPT 发布之后袁大模型进入竞赛时代遥 对于大模型研发机构袁它们在比赛谁研发速度更快袁谁的大模型性能更好袁以及是否可以联接更多应用袁是否更低成本袁是否有多模态能力曰对于非大模型开发机构的应用企业袁则竞赛谁更快对接大模型袁更快拥有 AI 能力遥表 1 是 2023 年 3 月的 1 个月内国内尧 外发布的大模型或大模型应用事件袁 超过之前 2022 年全年发生的事件数量遥表 2 是 2023 年 4 月 7要14 日袁 国内集中发布的大模型袁大模型竞赛进入高峰遥人工智能大模型探析吴权夫热点话题9表 1 2023 年 3 月国内外发布的大模型或大模型应用事件渊注院资料来源于网络整理袁截至 2023 年 5 月冤表 2 2023 年 4 月 7要14 日国内集中发布的大模型热点话题10从互联网产业野快鱼吃慢鱼冶野大树之下寸草不生冶的竞争经历来看袁大模型竞赛的背后逻辑就是要争取进入 AI 产业链的顶端袁在 AI 时代占有一席之地遥而参与者积极参与的原因之一是资本炒作的需要遥在国内袁2023 年 5 月 8 日袁科大讯飞股份有限公司发布野星火冶大模型后袁当日股票现涨超 6%遥 在国外袁5 月 11 日袁 谷歌发布了对标 GPT-4 的大语言模型 PaLM2遥 据介绍袁这是目前最为先进的大语言模型袁其性能已经部分超越了 GPT-4遥 当日袁谷歌的股价涨超 4%袁创 8 个月来新高遥3.费用尧数据和算力制约大模型参数竞赛制约大模型参数竞赛的因素主要有 3 方面遥一是费用方面袁根据有关机构计算袁GPT-3 训练一次的成本 140 万美元袁采用大量 RLHF 微调的ChatGPT 训练一次的成本在 200 万美元以上遥ChatGPT 的运行成本也是相当高的袁2023 年 1 月袁平均每天约有 1300 万独立访客使用 ChatGPT袁为满足使用要求的初始算力投入成本约为 8 亿美元袁电费约为 5 万美元遥 大模型如此 野烧钱冶袁 导致OpenAI 在 2019 年从成立时的非营利机构转为有限盈利机构袁以获得微软 100 多亿美元的投资资金续命遥二是数据方面袁 大模型吞噬大量训练数据袁但人类互联网历史上被保留下来的各种高质量语料袁已经在 GPT-4 或 PaLM2 及其更高版本的训练学习中被消耗殆尽遥 大模型参数数量仍然可以继续增长袁但对应数量的高质量数据却越来越稀缺袁因此袁增长参数数量带来的边际效益愈发降低遥三是算力方面袁在 2023 年 3 月袁英伟达专用于大模型参数计算尧 采用专用 Transformer Engine 架构的英伟达 H100 NVLINK 芯片发布之后袁市场借机炒作袁售价已经飙升至 4 万美元以上袁但仍然处于一片难求的状态遥 即使强如 OpenAI 的 GPT-4或微软的 New Bing袁 也多次因为算力不足不得不公开宣布短时间内暂停访问遥 算力成为大模型进一步拓展使用场景的重要制约遥数据耗尽尧算力不足袁指示了大模型的归途遥4.大模型推理之谜尧涌现之谜和幻觉之谜渊1冤推理之谜OpenAI 首席执行官山姆窑阿尔特曼表示袁从ChatGPT 开始袁AI 出现了推理渊Reasoning冤能力遥但没人能解读这种能力出现的原因遥渊2冤涌现之谜在模型规模小于某个临界值之前袁模型基本不具备任务解决能力遥 只有当模型规模大到一定程度时袁效果才会急剧增长袁且参数量越大时效果越好袁被业界称为野大力出奇迹冶遥 这种现象也被称为大模型的能力涌现渊Emergence冤现象遥 野涌现冶现象的产生与具体任务有关袁不同任务产生野涌现冶现象的临界值并不相同袁大部分要达到 70 亿的参数规模遥 目前袁还没有完全清楚其产生原因遥渊3冤幻觉之谜目前不清楚的还有大语言模型会生成语义不连贯或者语句无意义尧错误或者伪造信息以及无法理解的回答袁产生野一本正经胡说八道冶内容的现渊接上表冤渊注院资料来源于网络整理袁截至 2023 年 5 月冤热点话题11象袁被称为大模型幻觉渊匀allucination冤现象遥 大模型野幻觉冶现象多发生在用欺骗性问题测试它时袁如逼它回答类似野林黛玉为什么要三打白骨精冶的问题袁它就会野一本正经胡说八道冶遥研究发现袁大模型野涌现冶和野幻觉冶除了与模型参数规模有关之外袁 还与训练数据量的大小和质量尧训练充分程度等因素有关袁正在快速试验和改进之中袁例如袁GPT-4 出现野幻觉冶的情况就比之前版本少遥5.大模型的通用化和专业化发展渊1冤大模型或许只是通向 AGI 的一段探索过程人类对于 AI 的探索没有止境袁 将不断向通用人工智能渊Artificial General Intelligence袁AGI冤的方向研究探索袁目标是获得会听尧看尧说袁会思考尧学习和有行动能力的通用智能遥 然后袁继续向类脑超级智能的方向研究探索袁目标是超大参数尧超低能耗的模拟人脑的超级智能遥大模型能否通向 AGI钥野图灵奖冶得主尧野深度学习三巨头冶之一的杨立昆渊Yann LeCun冤预测袁未来5 年内袁 没有人会再用自回归大型语言模型袁GPT系统将很快被抛弃遥 而即使是山姆 窑 阿尔特曼也表示过野也许 AGI 是永远抵达不了的乌托邦袁但这个过程会让人类越来越强大冶遥渊2冤高质量数据集加专有领域小模型也能达到好效果2020 年 10 月袁OpenAI 推出数学定理推理模型GPT-f袁该模型参数 60 亿袁但在解决小学数学应用题方面的效果直逼 GPT-3遥分析认为袁GPT-f 用了8.5K 高质量数据集并且针对小学数学题进行训练袁相当于一个专有领域的模型遥也就是野学得越好尧领域越小冶遥渊3冤大模型将向通用化和专业化两个方向发展袁追求应用落地通用化发展方向是通用基础大模型袁类似移动互联时代的 iOS尧Android 系统袁是野AI 时代的操作系统冶袁如 OpenAI 的 GPT-4 或谷歌 PaLM2遥目前袁首先落地的应用是互联网搜索尧办公尧数字人/机器人等遥 如院GPT-4 接入 NewBing尧Office 野全家桶冶等曰 ChatGPT 接入苹果 Siri尧 亚马逊机器人 Astro等遥专业化发展方向是垂直应用大模型遥 它通过对通用基础大模型渊自研或开源模型冤进行蒸馏袁压缩成为规模较小尧用途明确的垂直应用大模型遥 例如袁APUS 从其研发的 AiLMe 大模型内蒸馏出文本尧图像尧视频尧音频 4 个垂直领域精炼模型袁并基于此开发出直接面向用户的智能问答大师尧 简笔成画尧墨染等 AI 产品遥 此外袁还有一种更小尧更专业的模型袁部署在前端或边缘位置的系统或设备模型遥 例如袁清华大学智能产业研究院渊AIR冤研发的自动驾驶模型遥运用大模型实现数智融合大模型的起源和未来发展方向揭示了大模型的价值将落在各个行业的应用当中遥 当前袁传统企业数字化转型进入关键阶段袁 以 ChatGPT 牵引而兴起的智能化也同时到来袁通过大模型袁探索数字化与智能化融合袁具有重要意义遥1.数字化和智能化通过大模型的运用实现融合大模型汇聚了人工智能渊AI冤尧大数据渊BigData冤和云计算渊Cloud冤等技术袁A尧B尧C 融合构建数智融合系统渊图 1冤遥 在数智融合系统构建过程中袁大模型起到 3 个方面的作用院一是大模型训练提升碎片化数据和历史数据的利用率并反馈到生产系统曰二是大模型训练需要的高质量数据要求促进数字化系统重构或升级曰 三是大模型赋能数字化系统 AI能力袁提升数字化系统效率尧敏捷性和友好度遥图 1 数据+AI 驱动的数智融合系统热点话题122.数据飞轮推进数智融合系统循环升级设计数据飞轮袁 推进数智融合系统循环升级渊图 2冤遥 数智融合系统生成的大数据经过处理袁提供给大模型进行训练袁形成新的模型袁升级数智融合系统袁升级后数智融合系统重新部署袁开启新一轮运行袁产生新的数据袁准备下一轮的迭代遥 数据飞轮不断循环袁推进数智融合系统不断升级袁提升系统性能遥3.大模型应用部署大模型应用部署的基本要求是院 一是有算力配置尧数据处理和服务请求的地方就应有算法尧有模型遥 二是处于边缘的边缘设备部署小模型曰处于中间的雾网络部署中型模型曰 处于中心的云计算中心部署大模型渊图 3冤遥三是大尧中尧小经过反复训练袁生成整体智能遥AI 时代袁我们该如何应对钥1.To B 的启示渊1冤对于大企业袁建议参考华为和腾讯的做法任正非在野难题揭榜冶火花奖公司内外的获奖者及出题专家座谈会上表示院野ChatGPT 对我们的机会是什么钥 它会把计算撑大袁把管道流量撑大袁这样我们的产品就有市场需求冶遥 华为对于自己能做什么尧该做什么一直很清醒遥面对野AI 淘金时代冶袁腾讯变身野卖铲人冶遥圆园圆猿年 4 月 14 日袁腾讯抢先发布面向大模型训练的新一代高性能计算集群 渊High-Performance Com鄄puting Cluster袁HCC冤遥 该集群采用腾讯云星海自研服务器袁搭载英伟达最新代次 H800 GPU袁服务器之间采用业界最高的 3.2T 超高互联带宽袁为大模型训练尧自动驾驶尧科学计算等提供高性能尧高带宽和低延迟的集群算力遥 腾讯明白袁淘金热潮之后袁结算下来袁赚钱的只有野卖铲人冶遥渊2冤对于中小企业袁建议专注小模型和专有数据集得益于野学得越好尧领域越小冶的启发袁专业小模型+专有数据集或许是中小企业的 AI 之路遥 因此袁对于中小企业袁一是要看好自己积累的数据袁参考专业模型的开发案例渊如 Alpaca 7B 模型冤袁学习开发自用的专业模型曰二是接入大模型袁提升业务系统 AI 能力曰三是跟踪大企业垂直大模型应用方向袁配合做好野地接冶应用遥2.To C 的启示野AI 不能取代你袁取代你的是会 AI 的人冶是一句受到普遍认可的话遥 其背后的启示是袁AI 时代袁每个人都要掌握一两样 AI 工具遥表 3 是截至 2023 年 3 月发布的 叶AI 工具Top10 榜单曳遥 图 4 是 2022 年 9 月 5 日袁在美国科罗拉多州博览会的艺术比赛中袁利用榜单中序号 2的 Midjourney 创作的叶太空歌剧院曳作品袁该作品荣获比赛第一名袁引起舆论哗然遥 这一事件说明袁对于绘画这样需要专业技能的工作袁利用 AI 绘画工具可以获得更大竞争优势袁也印证了 AI 时代掌握 AI 工具对于每个人工作和生活的重要性遥图 2 数据飞轮推进数智融合系统循环升级图 3 边渊Edge冤尧雾渊Fog冤尧云渊Cloud冤计算的模型部署热点话题13结语大模型因为大数据尧云计算得以实现袁也因为成本尧数据和算力的限制袁制约了其参数规模的无限制扩大曰 大模型具有完成各种任务很好的能力和效果袁但也存在多个未解之谜曰大模型将向通用化和专业化两个不同方向发展袁 其价值都在应用落地遥 在传统企业数字化转型关键阶段袁探索数字化和智能化融合具有重要意义袁 大模型起到重要作用遥 AI 时代正在来临袁企业要以更加务实的姿态接纳 AI袁每个人都应该掌握一两样 AI 工具遥（作者单位：厦门市老科学技术工作者协会）注本文为厦门市社会科学界联合会尧 厦门市社会科学院资助的厦门市社会科学调研课题项目 渊批准号院厦社科研也2023页B09 号冤阶段性研究成果冤表 3 AI 工具 Top10 榜单渊注院资料来源于网络整理袁截至 2023 年 3 月冤图 4 利用 Midjourney 做出的画作叶太空歌剧院曳渊资料来源院网络冤热点话题14