国外大模型发展分析.pdf

产业Industry编辑I朱文凤CHATGPT44444国外大模型发展分析云晴大模型是“大算力+强算法”的产物，是人工智能发展的趋势和未来。大模型助力A/实现从“手工作坊”到“工厂模式”的转变，从而使得AI从实验室走向规模化的产业应用。大模型通常基于大规模无标注数据进行训练，掌握某种特征和规则；基于大模型进行应用开发时，将大模型进行微调，或者不进行微调，就可以完成多个应用场景的任务。与此同时，大模型具有自监督学习能力，不需要或很少需要通过人工标注的数据进行训练，降低了训练成本，因而能够加快AI的产业化进程，降低AI应用的门槛。通过不断迭代，大模型能够具有更强的通用性以及更高的智能程度，从而使得A/更广泛地赋能各行业应用。ChatGPT掀起通用人工智能浪潮2019年，OpenAl推出参数量高达15 亿的通用语言模型GPT-2，能够生成连贯的文本段落，实现初步的阅读理解、机器翻译等。2 0 2 0 年，OpenAl推出超大规模语言训练模型GPT-3，参数量达到了17 5 0 亿，用两年左右的36Industry产业编辑I朱文凤时间实现了模型规模从亿级到干亿级的突破，并能够实现作诗、聊天、生成代码等功能。2 0 2 1年1月，谷歌推出的SwitchTransformer模型以高达1.6 万亿的参数量成为史上首个万亿级语言模型。同年12 月，谷歌还推出了1.2 万亿参数量的通用稀疏语言模型GLaM。可以看到，大型语言模型的参数量保持着指数级增长的势头。2 0 2 2 年，OpenAl推出的ChatGPT是由比GPT-3更强大的GPT-3.5系列模型提供支持，并且这些模型使用微软AzureAl超级计算基础设施上的文本和代码数据进行训练。2022年，ChatGPT突然走红，这是人工智能大规模展示通用应用场景的开始。在此基础上，生成式人工智能（A I G C）成为了推动行业领域发展的重要力量。AIGC既是内容的分类方式和生产方式，又是用于内容自动生成的一类技术集合，AIGC带动了LLM、GPT等大模型的发展应用，为人工智能产业带来了新的变革机会。大模型与AIGC为人工智能领域带来了新变化。从当前大模型的发展趋势看，大模型企业更倾向于搭建平台，对传统企业进行赋能。具体而言，大模型企业凭借对组织型用户“痛点”的了解，搭建大模型平台，而组织型用户只需加入自己独有的场景数据，即可快速生成解决自身问题的“专属模型”。不过，这种提供定制解决方案的模式也面临开源模式带来的挑战。LLaMA2开源改变大模型游戏规则ChatGPT发布后，Meta紧跟着推出了类GPT大语言模型LLaMA。模型公布后不久，LLaMA因为源码泄露引来了大量开发者的关注，在ChatGPT热度下降的情况下，LLaMA成为产业关注的“新宠”。2023年前5 个月，ChatGPT全球访问量增长幅度明显下降，6 月的访问量更是环比下滑9.7%，为其自推出以来首次大幅度下滑。7 月，Meta发布首个开源人工智能模型LLaMA的商业版本LLaMA2，该商用大模型可为企业提供OpenAl和谷歌的替代方案，该模型也因此被视为“最强平替”。需要特别说明的是，LLaMA2运行在Windows操作系统之上，整合了Azure云，原本与OpenAl长期深入合作的微软已成为LLaMA2的“首选合作伙伴”。Meta针对LLaMA2的开源模式做了如下表述：“我们相信，开源的方法是当今人工智能模型发展的正确途径，尤其是在技术进步日新月异的生成式人工智能领域。”通过开源的方式吸引足够的参与者，从而搭建一套完善的生态系统，是Meta这类互联网企业的一贯作风，但对于已投入大量成本而期望采用定制化解决方案的玩家而言，却不是什么好消息。Meta的操作让人联想到Facebook的开源计算项目OCP，该项目被用于改变服务器硬件的制造方式，以更好地适应互联网时代。OCP除了对应的机架规范OpenRack，还包括服务器、网络、存储，乃至数据中心的设计。OcP被视为Facebook最为重要的科技项目之一，旨在把“开源”概念引入数据中心硬件，为数据中心提供更快、更便宜、用材更少的硬件。OCP的开放性体现在免费提供设计，任何企业都可以使用它，并对其进行调整，这意味着，惠普、戴尔和思科这类传统硬件供应商将不再控制产品设计，取而代之是由用户自己控制。这给思科等硬件制造市场的老玩家带来了很大威胁，因为OCP很有可能为企业提供更便宜、更灵活的替代方案，从而淘汰传统的昂贵方案。微软、苹果等科技巨头都加入了OCP阵营，开始把OCP的一些概念整合到自身的数据中心，形成新的生态。Facebook也通过构建在OCP基础上的各种技术，大大减少了对“思科们”的依赖。1LLaMA2的开源模式可能会影响OpenAl等公司在生成式人工智能软件市场中取得的早期主导地位。因为Meta意在借助LLaMA2构建人工智能开源生态系统，快速扩大其市场规模并建立口碑，同时阻碍竞争对手从其专有技术中赚取收入。AppleGPT入局，前路未知在Meta、微软、OpenAl等公司各出奇招的同时，以封闭系统作为竞争优势的Apple等公司也在借助Siri等人机交互触点的优势向上游拓展。近期，业内传出Apple秘密研发AppleGPT的消息。据了解，AppleGPT是一款基于苹果自研Ajax框架开发的人工智能工具，这一产品已在苹果内部小范围内投入使用。与其他解决方案不同的是，目前Apple尚未决定AppleGPT未来的开发方向，甚至严格规定了AppleGPT的使用场景，禁止将其输出用于开发面向用户的功能。这体现了不同企业对大模型市场发展的不同理解和判断，同时也体现了“利用大模型做未来物联网入口的可能性和交互能力的升级”这种定位和发展方向的选择。大模型时代的人工智能伦理风险开源大模型将加速人工智能市场的应用拓展，但与此同时，人工智能哲37产业Industry编辑I朱文凤学尤其是科技伦理方面的争议甚嚣尘上，大模型的可靠性、安全性、知识产权等也成为了产业函待解决的新课题。大模型目前还面临较大的挑战，包括大模型“幻觉”、“一本正经地胡说八道”、政企私有数据的保密性要求、大模型存在封闭性等，同时信息垄断、知识产权等问题也不容忽视知识可靠性及信息误导等问题ChatGPT不能保证回答问题的可靠性和准确性，对于“如果相同的问题在不同时间问你有不同的结果，我怎么知道哪一个比较可信，或者哪一个更为接近真相”这个问题时，ChatGPT给出了如下答复：“作为一种人工智能系统，我是基于一组固定的算法和数据运行的，并且在回答问题时会遵循程序化的逻辑。因此，如果对同一个问题多次询问，答案应该是一致的，除非模型的数据或算法发生了更改。不过，即使我的回答是一致的，也不能完全保证答案的正确性和可靠性，因为我的训练数据和算法可能存在偏见或错误，我并不能独立判断我回答的问题是否符合真实情况。ChatGPT要学习大量的文本数据，并以特定的算法处理数据，因此可通过提供误导性训练数据或者改变算法，操控处理结果。也就是说，我们不能准确理解作为“黑盒”的数据处理模型，以及信任ChatGPT采用的训练数据集的“权威性”，即便在一个我们熟悉的领域，细微的差别也可能导致巨大的结论偏差。从知识可靠性的角度看，知识应用的场景需要非常谨慎，尤其是在学术研究领域，必须严格限制ChatGPT信息的引用。信息垄断问题如果模型的使用和控制都是不透明的，就有可能出现信息断。信息垄断是指一个或一些组织及个人控制着信息的生产、流通和使用，从而有效地排除竞争。因此，如果行业不采用透明公开的方式去评估和监督使用信息，那么就可能存在信息垄断的风险。知识产权问题ChatGPT由OpenAl训练，数据集是从互联网上收集来的大量文本数据，包含新闻报道、维基百科条目、小说、博客、论坛帖子、技术文档、社交媒体内容等信息，这些数据可能存在著作权侵权的风险。具体而言，OpenAl尝试遵循合法、道德的原则来获取数据，但并不能保证所有数据的著作权拥有者都同意OpenA/将其数据用来训练语言模型。风险在于数据的处理结果是构建在未经授权的第三方经验之上，而通过这些经验获得的价值并没有与第三方共享，或者说他们甚至都没有意识到自已的数据被使用。在现实世界中肖像权被侵犯是比较明显的，在数字世界中经过多重加工以后，这样的侵权行为就不是那么明显。在现实世界中可能会出现这样的情况：ChatGPT的回答可能无意之间引用了作者声明需要分享商业收益的内容，在不知情的情况下侵犯了作者的知识产权。此外，经过复杂的模型处理之后，文本的所有者可能很难知道ChatGPT对他的资产进行了处理，也就是说，尽管理论上文本的所有者可以去维权，但实践成本会非常高。针对这个问题，ChatGPT是这样回应的：“确实存在难以识别使用者行为的问题。不过我是一个由OpenAl制作并管理的计算机程序，并且OpenAl是一个认真对待知识产权和隐私的公司，他们遵循相关法律法规，努力确保这些法律法规在用户使用我的过程中得到遵循。当然，如果您发现有任何违反知识产权的情况，建议您及时联系OpenAl,以帮助他们解决问题。”能否用于解决具有创造性的问题这个问题看起来更像是一个人工智能的哲学问题。科学发展的传统看法是：科学知识是不断增加的，发展是一个直线的、知识积累的过程。这是为大多数人所接受的科学发展观，也是ChatGPT体现出来的知识“归纳”，其文字编码的概率让结果体现出这样的特征。波普证伪主义强调的不是知识的积累，而是科学理论的更替，旧理论不断被推翻，新理论取而代之。大模型带来了强大的智能，能够推动人工智能向更高级的智能应用迈进，例如AIGC、更智能的对话客服等。GPT-3等大模型在新闻文本生成、商业文本分析、法律文本分析等领域具有较高的产业应用价值。除问答以外，ChatGPT能够完成编程、写稿等众多超出人们想象的任务。谷歌公司曾表示：“如果ChatGPT参加谷歌的面试，理论上会得到入门级程序员的聘任。因此，更为关键的是我们怎么理解“创造性这个词的含义。”结语无论如何，大模型仅仅是生成式人工智能大规模商用的前奏，许多领域的企业都在尝试将大模型能力与自身的优势、定位和战略发展方向结合起来。无论是从打造难以被模仿的技术优势、大模型能力与复杂场景结合构建更强的解决方案能力、借助开源模式降低大模型使用门槛形成规模化垄断，还是借助传统的触点优势进一步提升终端用户的体验，市场上不同的玩家都在根据自身的理解尝试定义大模型的未来。而在通向未来的道路上，大模型将比其他领域面临更多的伦理、法律、道德方面的难题，这也是大模型企业在打造市场竞争力的同时，面临的新课题。CW38