大模型：正在引发第四次产业革命.pdf

文/戴月明大语言模型（Large Language Model）是人工智能半个多世纪发展的产物。1956 年，美国计算机科学家约翰麦卡锡（John McCarthy）、马文明斯基（Marvin Minsky）等在美国达特茅斯学院讨论如何让机器模拟人的智能，首次提出了人工智能概念。1980 年，机器学习（Machine Learning）作为独立的子学科出现，机器能够从原有数据中学习，并改进数据作出预测或决策。1997年，美国IBM公司科学家、高管默里坎贝尔（Murray Campbell）和许峰雄开发的超级计算机深蓝（Deep Blue）打败国际象棋世界冠军加里卡斯帕罗夫（Garry Kasparov）。2010年前后，深度学习（Deep Learning）出现，能够使用深度神经网络（DNN）处理数据并作出决策。2016年，阿尔法狗（AlphaGo）凭此技术打败围棋世界冠军李世石。微软公司的塞巴斯蒂安 布贝克（Sbastien Bubeck）、图灵奖获得者杰弗里欣顿（Geoffery Hinton）坚定地认为，以聊天机器人程序 ChatGPT 大模型为代表，曾经遥不可及的通用型人工智能已然曙光初现。相关人士透露，OpenAI 已经在用视频网站YouTube 的视频训练其大模型。与图像比较，视频有额外的时序维度和极高的时序冗余性，计算成本远胜图像。但是，人类接收的信息八成来自视觉，只有视觉训练的模型才能真正理解人类。因此，大视觉模型很可能是下一代主流大模型。在资本和智力强大投入之下，20302035 年将迎来通用人工智能乃至强人工智能的奇点时刻。大模型：正在引发第四次产业革命ChatGPT 的风靡意味着发展了大半个世纪的人工智能领域正式步入了新纪元，大模型时代的序幕正在逐渐拉开。从内容生产模式看，从传统的专业生成内容（媒体、电影、电视），到用户生成内容（博客、微博、短视频），再到专业用户生产内容（喜马拉雅、哔哩哔哩），直到现在的人工智能生成内容（AIGC），内容生产模式一直在不断发展。可以推测，下一代内容生产就是人工智能生成视频。大模型的产业革命纵观人类社会发展史，土地、劳动、资本、企业家、技术以及数据作为公认的生产要素，先后推动物质生产不断提升效率。以大模型为代表的通用人工智能的出现，可以融合原有两大生产要素技术和数据，大幅提升生产绩效，从而引发产业革命。其背后隐藏的经济学原理是交易效率和规模经济，数据越多，使用者越多，交易费用越低，效率越高。麦肯锡公司预测，生成式人工智每年能为全球经济增值 4.4 万亿美元。大模型将从以下 3 个方面引发产业革命。第一，大模型将重构所有产业的底层逻辑，可以加速研发和商业化，大幅降低生产门槛和试错成本，减少人工成本，创新垂直领域应用商业模式，优化客户体验。ChatGPT 已接入微软搜索引擎必应，开始挑战谷歌搜索的霸主地位；Midjourney图像生成服务已为广告业节省数万人的成本。第二，大模型技术领域的提示、标注、微调、部署和监控，模型基础设施领域的训练、运维和管理，以及 AI 芯片设计和制造、并联技术方案优化，都蕴视野VISION 探索DISCOERY74 张江科技评论 2023.4藏着前所未有的机会。第三，大模型正在对人类社会形成全方位、颠覆性的冲击，新的社会分工即将出现，世界上大体可以分类为人工智能开发者和人工智能使用者这两类人。数字原住民（年轻人）将如鱼得水，数字移民（中老年人）必须证明自己的学习能力。美国普林斯顿大学爱德华威滕（Edward Witten）团队提出，大模型下受影响最大的 20 种职业是电话销售员、多学科的教师、政治学家、法官、心理医生等。量子位智库中国 AIGC 产业全景报告推算，中国生成式人工智能市场规模将在 20232030 年加速扩张，从2023年的160亿元到2030年突破万亿元。大模型的涌现能力涌 现 能 力（Emergent Abilities）由 2022 年的论文大型语言模型的新兴能力（Emergent Abilities of Large Language Models）提出，指在大模型中出现而在小模型里没有出现的能力，即“量变引起质变”。GPT 模型的涌现能力特别强大。思维链（Chain of Thoughts）的能力也是一种涌现能力，只有在模型够大的时候才有效。思维链已成为一种标准提示（Prompting）技术，用于增强复杂任务上的模型性能。思维链指示模型“逐步思考”，以利用更多的测试时间将困难任务分解为更小、更简单的步骤。思维链将重大任务转换为多个可管理的任务，并将注意力放到对模型思考过程的可解释性中。涌现能力在类比推理、词义消歧、真实性、社会推理和情感理解相关任务中表现较好，在算术和数学任务中表现一般，在逻辑推理、因果推理任务中表现较差。目前，涌现能力的规律尚未被发现，难以预测和控制。有时大模型会产生不被认同的结果。涌现为人工智能带来创造性，是人工智能赋能科学研究的核心能力来源。人工智能赋能科研近年来，人工智能尤其是大模型在科研领域已经取得惊人的进展。人工智能可以用于科学探索、研究加速和创新发现。大模型和其他算法可以浏览和管理海量学术文献，提出新假设，发现新结构，识别错误点。人工智能可以自动设计实验，分析实验结果，尤其在跨学科融合创新方面具备独特优势。ChatGPT4 的参数是 1 750 亿个，成年人的神经元仅百亿数量级，可以说大模型与人类相比，就是天才加全才。相信人工智能必然成为科学研究中不可或缺的重要工具。大模型作为基础模型，叠加各种专业常用模型和垂直领域模型，组成复合模型，将进一步增强人工智能作为工具在科学研究中的霸主地位，极大地加速科学研究的进程。可以预测，人工智能专家与各学科专家的组合，将成为科学研究的“标配”新模式。能否高度重视人工智能赋能科研，将决定我国基础研究和原始创新能否突破，从而决定与美国的科研差距能否缩小。从美国食品药品监督管理局（FDA）公布的人工智能赋能药物研发的报告看，向 FDA 递交的研发中借助人工智能和机器学习的药物和生物申请数量显著上升，2016 年、2017 年各有 1 个申请，2021 年达 132 个申请。当然，人工智能的新发现可能缺乏准确性、可解释性和重复性，需要人类智能测试、审核和验证。大模型的对齐事实上，由于知识匮乏、疏忽或恶意，人工智能可能出现机器幻觉、偏见、排斥和歧视。同时，大模型可能成为居心不良的人进行仇恨、暴力、造谣等攻击的工具，也可能被用来窃取数据和暴露隐私。对齐（Alignment）是大模型时代流行起来的一个话题，指的是将大模型训练成能够生成与人类价值观或目标一致的文本的过程，从而减少伦理风险和社会危害。对齐“3H”，即有益的（Helpful）、诚实的（Honest）和无害的（Harmless），是对一个大模型的基本伦理要求。美国的人工智能初创企业Anthropic 在 2021 年的作为对齐实验室的通用75 张江科技评论 2023.4视野VISION 探索DISCOERY语言助理（A General Language Assistant as a Laboratory for Alignment）文中有如下表述：如果定义 A 与 B 对齐，那么 A 完全以 B 的要求、利益和效益为先。现有的对齐技术，如有监督的微调和从人类反馈中强化学习，极大地减少了训练师所需的专业技能和领域知识，有效地加强了大模型的能力。但是，现有的对齐技术依赖于高质量的人类反馈数据，后者通常是昂贵且闭源的。谷歌旗下人工智能企业 DeepMind 最早系统地提出了人们为人工智能寻找适合对齐的价值观的方法。一是寻找共同价值，应当考虑到世界各地的人们在不同的价值观中存在的共识，并以这种共识作为 AI 对齐的价值观。二是利用“无知之幕”的概念，无知之幕是一个思想实验，能够迫使人们从社会弱势群体的角度来考虑问题和设计社会制度。三是从社会选择的角度制定价值观，采用投票或排序的方法，选出适合人工智能对齐的价值观。人工智能的国际治理人工智能国际治理是确保人工智能可持续和负责任发展的重要手段，以求解决隐私保护、算法公正、数据安全等问题。清华大学已设立人工智能国际治理研究院，每年召集国际会议。建议目前从如下几个层面推进。数据层面：一要建立全球认同的伦理标准，作为人工智能的基础价值观；二要建立数据使用过程中的全球普遍性标准，保证数据安全；三要建立算法问责机制，保障数据被善用。技术层面：一要构建公平高效的全球知识产权体系，完善数据共享和知识产权机制；二要建立全球性的数据库，创立合理的共享模式驱动创新。监管层面：要建立中美参与的国际治理委员会，委员会应当拥有足够的职权，像国际原子能机构一样，根据 AI 芯片和能源消耗监控，对所有超过能力阈值的公司实施飞检。2006 年，美国麻省理工学院计算机科学与人工智能实验室高级研究科学家戴维克拉克（David Clark）在互联网工程任务组（IETF）20 周年庆典上重新宣读了他 14 年前应对互联网及其社区发展的方案，提出需要 6 个过程：一是开放的过程，让所有的声音都被听到；二是封闭的过程，向前推进，取得进展；三是快速的过程，与时俱进；四是慢速的过程，留出时间思考；五是市场驱动的过程，未来商业化；六是可扩展的过程。人工智能发展和国际治理大体也是这样的过程。不 过，2018 年 图 灵 奖 得 主 杨 立 昆（Yann LeCun）认为，严格监管人工智能发展不能保证人工智能安全，从长远看来开源才能保证安全、良善。我国大模型面临的挑战不可否认，近年来我国人工智能取得了长足的进步，但与美国相比，很难说差距有所缩小，尤其在大模型的开发方面。我国大模型主要面临以下 3 个方面的挑战。一是大模型并联计算整体系统工程化的瓶颈。在硬件方面，除了 AI 芯片之外，新型异构高性能计算机的体系结构在计算、网络、存储等方面存在限制。在软件方面，不规则运用程序导致节点间负载不均衡，并联扩展难。二是大模型技术人才匮乏。目前，国内能够主持技术研发的顶尖人才不超过 1 000 人，亟须大批大模型训练、大模型应用、提示工程师、大模型评测、大模型产品设计的跨学科、复合型人才。三是高质量数据不足。国内互联网社区数据质量不高，需要清洗；传统图书馆和互联网知识库收藏的数据涉及知识产权，还未能大规模启用；数据标注因数量大而成本高。建议国内加快立法，开放高质量数据有偿共享。戴月明，复旦大学管理学博士，上海浦东软件园股份有限公司副总经理。先后就任上海社会科学院世界经济研究所助理研究员、中国创业投资有限公司上海代表处负责人、上海国际医学园区集团副总经理，挂职担任云南省发展和改革委员会主任助理。著有企业核心专长论等3部专著。76 张江科技评论 2023.4