a16z揭秘：我们正进入计算的第三个时代.pdf

78ICASE案例O前沿观察在AI领域，即便做不了下一个OpenAI，但谁不想成为下一个被命运之神光顾的幸运儿？a16z揭秘:我们正进入计算的第三个时代文/a16z（A n d r e e s s e n H o r o w it z），美国知名风险投资机构AI的影响蔓延至各个领域的速度之快，超出了大部分人的预期。9月下旬，Sequoia（红杉美国）最新判断：AI已经开启了第二篇章，并从应用场景的角度绘制了新的AI图谱和LLM（大型语言模型）开发者栈（stack)图谱。目前，我们所使用的基础模型不仅能够在某些智力问答游戏中击败人类，或在围棋等领域达到超自然水平，或提供更强大的推荐引擎，它们还在艺术、设计、游戏、医学、编程甚至人际关系等领域中改变并创造新的用户行为。然而，我们现在仍然处于AI领域初期阶段，想象这些初期突破将引领我们走向何方，以及它们将如何改变我们的世界可能会有一定难度。于是，al6z（A n d r e e s s e n H o r o w i t z，私人风险投资公司）召集了多位顶级AI创始人和领导者，与他们进行了一系列关于我们现在所处的位置、我们将要前进的方向，以及领域中的一些重大未解问题的对话。以下是从AI的当下、未来以及开放性角度探讨的1 6 个的话题（本文对内容进行了筛选、简译和结构调整）。商界评论Business Review79AI1.我们正处于计算第三纪元的开始MartinCasado（马丁卡萨多，al6z合伙人）：我认为我们正在进入第三个计算时代。在第三个计算时代中，微芯片将计算的边际成本降到了0；互联网将分发的边际成本降到了0；大型模型将创作的边际成本降到了0。当时代更替时，你不知道会有什么新公司被创建出来，就像没有人能预测到亚马逊或者雅虎的出现。所以，我们应该做好准备去迎接新的标志性公司的出现。Noam Shazeer(诺姆沙泽尔,Character.AI创始人兼首席执行官）：我们确实正处于“莱特兄弟第一架飞机”的时刻，我们已经拥有了一些可以用于大量用例的有效工具。目前，AI的扩展性看起来非常好，将来会变得更好，同时会有更多的突破，因为现在世界上所有的AI科学家都在努力让这些东西变得更好。KevinScott（凯文斯科特，微软首席技术官兼人工智能执行副总裁）：在过去的几年里，特别是在过去的1 2 个月里，随着ChatGPT和GPT-4的推出，你可以真正801CASE案例O前沿观察2018-2027年全球与中国AI行业市场规模及预测1150（亿美元）全球市场规模600030000中国市场规模163871396013284201856244623378630802.4961997109228118120192020319202120223882023E2024E数据来源：灼识，观知海内咨询整理（观知海内网）4882025E6372026E8502027E(年)地看到AI与计算机或智能手机有一样的潜力。一系列技术将使许多新事物成为可能，许多人将在其基础上构建各种新应用。2.生成式AI浪潮，具有推动市场转型的经济学原理要使技术创新引发市场转型，经济效益必须具有强大的吸引力。虽然以往的AI在周期中有许多技术进步，但缺乏变革性的经济效益。而在当前的AI浪潮中，一些应用案例的经济效益有提升到1 0 0 0 0倍（甚至更高）的迹象，同时AI的采用和发展似乎比以往的任何转变都要快得多。马丁卡萨多，a16z:市场转型并不是通过1 0 倍的经济改善来实现的，而是当比原来好一万倍时，它们就会被创造出来。打个比方，曾经我想创造一个皮克斯角色（华特迪士尼公司旗下电脑动画工作室）形象，需要雇一位画师，耗费1 0 0 美元/h，时间不计。现在用AI模型来做，可能只需1/1 0 美分，1秒钟。对比金钱时间成本，你会发现前后存在4 5个数量级的巨大差异，而这就是经济学家寻找的经济拐点。这也意味着：当下，一个发生在AI时代的创新技术一经济效益一资源投入的良性循环正在形成。3.对于一些早期应用场景，创造力正确性“幻觉”是当今大模型LLMs依旧面临的问商界评论Business Review81题，但对于某些用例来说，编造事情的能力是一个功能，而不是一个错误。例如，自动驾驶汽车需要绝对正确，但你的虚拟伙伴就没必要永远准确了，而LLMs的许多早期用例都具有这一特点：专注于创造力比正确性更重要的领域诺姆沙泽尔，Character.Al:娱乐产业每年能斩获2 万亿美元，因为娱乐就像是你的虚拟朋友，这对通用AI来说是一个很酷的首要应用案例。例如，当你想推出一款AI医生，你需要万分小心地避免提供错误信息，这会影响产品推出的速度。但当你想推出一个AI伙伴，你可以火速推出。毕竞它只是娱乐而已，编造事物也成了一种特色。DylanField（狄兰费尔德，Figma创始人）：我们正处于一个让AI完成初稿的时期，但要从初稿发展到最终产品还是有些困难，并且通常需要一个团队来完成。但如果你能让AI向人们提供一些关于界面元素的建议，并且用一种合理的方式操作，我认为这将开启一个全新的设计时代：创造出根据用户意图响应性的上下文设计。我相信这将是所有设计师与AI系统合作共事的一个迷人时代。4.编程“副驾驶”会随着人类的使用而提高正确性AI能在许多领域增强人类工作，其中的编程“副驾驶”已成为首批被广泛采用的AI助手，原因有几个：首先，开发人员通常是新技术的早期采用者一对2 0 2 3 年5 月/6 月的ChatGPT提示进行分析发现，3 0%的ChatGPT提示与编程相关；其次，最大的LLMs接受过包含大量代码的数据集（例如互联网）训练，这使得他们特别擅长响应与编程相关的查询；最后，循环中的人是用户。因此，AI助手的准确性很重要，拥有AI副驾驶的人类开发人员可以比单独的人类开发人员更快地送代到正确性。马丁卡萨多，a16z:如果做一件事，你必须保持正确且有很多复杂的使用情况，要么你自己完成所有技术工作，要么雇佣人员。通常我们会雇佣人员，这是一个可变成本。另外，由于解决方案的尾部往往非常长，比如自动驾驶中可能发生的许多异常情况都需要解决，为了保持领先地位所需的投资会增加，价值却会降低。这就产生了一种反向规模经济效应。如今，在公司的循环人员是用户，因此它不再是企业的可变成本，也不再是这项工作的经济成本。因为它是迭代的，你只需要不断地得到来自用户的反馈和修正，那么累积的错误量会逐渐减少。MiraMurati（米拉穆拉蒂，OpenAI首席技术官）：当开发人员可以通过AI聊天机器人来帮助他们编写代码，并对其进行故障排除时，它会以两种显著的方式来改变开发的方式：1.使更多的人更容易在开发中进行协作；2.开发人员能够产出更多内容，并保持更长时间的流动状态。凯文斯科特，微软：GitHub（一个面向开源及私有软件项目的托管平台）是我们正在尝试构建的这种副驾驶模式的第一个例证，即如何利用AI帮助某人进行知识工作，使他们在执行特定类型的认知工作时更加高效。根据我们对开发人员的观察，AI可以帮助他们更长时间地保持心流状态（在心理学中指82ICASE案例前沿观察一种人们专注进行某行为时所表现的心理状态，通常在此状态时，不愿被打扰，也称抗拒中断）。比如，当你在编写代码遇到障碍时，可以在你脱离心流状态之前，能够让自己摆脱束缚是非常有价值的。5.AI+生物学，带来新体验生物学极其复杂，甚至可能超出人类思维的完全理解能力。然而，AI与生物学的交叉可以加速我们对生物学的理解，并带来令人兴奋和具有变革性的技术进步。AI驱动的生物学平台有可能解锁以前未知的生物学见解，从而带来新的医学突破、新的诊断方法以及更早发现和治疗疾病的能力，甚至有可能在疾病发生前阻止它。DaphneKoller（达芙妮科勒，insitro创始人）：在历史上的某些时期，某些特定的科学学科在相对较短的时间内取得了令人难以置信的巨大进步。2 0 世纪5 0 年代，计算机科学就是这样一门学科，我们可以使用这些机器来执行计算；20世纪9 0 年代，数据科学和统计学为我们带来了现代机器学习、人工智能和定量生物学；2 0 2 0年，迎来人工智能和生物学真正融合的时代，即数字生物学时代，我们可以使用机器学习和数据科学工具解释海量数据、不同的生物尺度和不同的系统，同时可以使用CRISPR基因组编辑等工具将这种理解带回到工程生物学中。现在，我们终于可以在细胞水平（或亚细胞水平）和生物体水平上大规模测量生物学。我们建立了生物学中的“ChatGPT”，甚至拥有细胞语言和细胞形态。你可以开始问：“疾病是如何将致病基因从一个地方移动到另一个的？怎么治疗能恢复健康？”与其他语言模型一样，提供的数据越多，它就会变得越好。6.将模型交到用户手中，发现新的应用场景此前AI模型迭代的很大一部分是为了在某些任务上超越人类，例如AlphaGo（阿尔法狗）比绝大多数人类都更会下围棋。但必须明确的是，一个厉害的通用模型不代表就能破解模型和特定用例的匹配难题凯文斯科特，微软：我们必须记住：模型不是产品。作为一个创业者，你要理解的是：你的用户是谁？用户的问题是什么？你能做什么来帮助用户？然后确定AI能否解决用户问题一一这是不变的。AI就像一个新的、有趣的基础设施，可以让你以更好的方式解决新类别的问题或解决旧类别的问题7.AI朋友的记忆力即将大大提高虽然数据、计算和模型参数支持LLMs的一般推理，但上下文窗口（指语言模型在试图生成文本时可以回顾和参考的文本量）只支持它们的短期记忆。上下文窗口通常是通过它们能够处理的标记数量来衡量的。目前，大多数上下文窗口约为3 2 K，但更大的上下文窗口即将到来，即通过LLMs运行具有更多上下文的更大文档的能力。诺姆沙泽尔，Character.Al:目前，我们正在提供的模型使用了数千个标记的上下文窗口，这意味着它会记住过去半小时发生的事情。如果你转储大量信息，它还能够了解关于你的上百万件事。Dario Amodei(达里奥阿莫迪，Anthropic商界评论BusinessReview83人工智能在执行某些任务方面已经比人类好得多人工智能系统的语言和图像识别能力得到了迅速提高。手写识别相对于人类表现的测试分数：20以人类的表现作为基准，被设定为零每个人工智能系统的初始性能被归化为-1 0 0语音识别02000-20-40-60-80-100图像识别20052010阅读理解20语言理解2020（年）数据来源：DynaBench（K i e l a 等，2 0 2 1）：重新思考NLP中的标杆管理，OurWorld inData（我们的数据世界，一个提供全球数据的网站）人工智能系统表现更好人工智能系统表现更差首席执行官兼总裁）：我认为人们脑海中会有这样的画面：有一个聊天机器人，我问它问题，它可以准确给出答案。同时你还可以上传一份法律合同，并问它，“这个法律合同中最不寻常的5 个条款是什么？或者上传一份财务报表并问道：“总结这家公司的具体情况。”这两个举例，涉及到的知识操纵和大量数据处理，都需要人们花数小时才能阅读并得出结论。而我认为，将来的AI能比人们正在做的事情更多并且速度更快。8.重点关注语音聊天机器人、机器人和AI互动等今天，大多数人以聊天机器人的形式与AI互动，这是因为聊天机器人通常很容易构建，而不是因为它们是每个用例的最佳界面。许多构建者专注于开发新的方式，使用户可通过多模态AI与AI模型交互，比如通过图像、文本、语音和其他媒体。更进一步，可以通过实体AI与物理世界互动，如自动驾驶汽车等。多模态AI可以处理和生成多个音频或视觉格式的内84ICASE案例O前沿观察容，实体AI可以在物理世界中采取行动。达芙妮科勒，insitro:AI可以产生影响的下一个前沿是当AI开始触及物理世界。当然，这是很难的，就像我们在构建聊天机器人方面取得了很大进展，但自动驾驶汽车仍在旧金山阻挡消防车（8 月1 7 日晚1 0点，Cruise自动驾驶汽车与一辆消防车在旧金山发生碰撞）。对于这种复杂性以及对影响程度的估计，都是很重要的。9.AI创业公司是做通用模型、专用模型，还是两者兼之？哪些用例最适合更大的、“更高智商”的基础模型或较小的专用模型和数据集？就像十年前的云和边缘架构的辩论一样，答案取决于你愿意支付多少费用、你需要输出的准确性以及你可以容忍的延迟程度。随着研究人员开发出计算更加高效的方法，来针对特定用例对大型基础模型进行微调，上述问题的答案可能会随着时间的推移而发生变化，因为我们仍处于建立支持未来AI应用浪潮的基础设施和架构的早期阶段。AliGhodsi（阿里戈德西，Databricks首席执行官）：过去2 0 0 0 年的互联网能主宰一切，最重要的是谁能建造出最好的路由器。而现在是，谁拥有最大的LLM并对其进行充分训练的公司将拥有所有AI和未来人类的掌控权。米拉穆拉蒂,OpenAI:选择何种模型取决于你到底想做什么。用户并不是总需要最强大的模型，有时候他们只需要适合其特定用例且更经济实惠的模型。比如OpenAI通过API（应用程序接口）提供了许未来借助AI大模型的自动化任务概念图作为公司销售代表，与潜在客户A完成一次沟通与销售过理。LLM Agent人类(LLM代理,一种人工智能系统）多模型，从非常小的模型到前沿模型都包含在内。我们希望给予用户越来越多的访问和控制权限，以便用户携带自己的数据并自定义这些模型。10.AI企业何时会获得市场份额？生成式AI对企业的影响仍处于起步阶段，一方面因为企业通常行动较慢，另一方面是他们已经意识到了专有数据集的价值，并且不想将数据移交给另一家公司。大多数企业用例需要高度的准确性，而企业在选择LLM时有3 种选自我介绍了解客户身份及决策链听客户需求，并记录根据需求展示公司产品根据客户反馈调整话术与客户确定下一步动作登记销售线索并分配跟进服务记录企业搜索销售管理外部搜索邮件系统商界评论Business Review85择：构建自己的LLM、使用LLM服务提供商（如Mosaic)为他们构建、微调基础模型。阿里戈德西,Databricks:一些CEO和董事会成员的想法发生了变化，他们认为，必须自己建立LLM，必须拥有知识产权，因为这也许是可以击败竞争对手的秘密武器。但从零开始建立自己的LLM并不是一件轻松的事情，仍然需要大量的GPU、大量资金，并且还需要大量的数据集和使用案例。11.缩放规律是否会将我们带向AGI（通用人工智能）？目前，LLM遵循Scaling（缩放规律）：随着添加更多数据和计算资源，即使架构和算法保持不变，模型性能也会提高。但是，这个法则能持续多久？它会无限期地持续下去，还是在我们开发ACI之前达到自然极限？米拉穆拉蒂,OpenAI:没有任何证据表明，随着我们继续在数据和计算轴上扩展模型，我们不会得到更好、更强大的模型。而要想真正从这些更大的模型中获得很多好处，缩放定律还有很长的路要走。诺姆沙泽尔，Character.AI:我们的目标是成为一个AGI公司和一个以产品为先的公司，而实现这一目标的方法是选择正确的产品，从而迫使我们致力于一些具有普遍性的事情，让模型更智能，更能满足人们的需求，并以大规模的方式提供廉价的服务。缩放规律将带我们走很长的路。12.什么是新兴能力（emergentcapabilities)?虽然有些人质疑生成式AI的能力，但AI已经在执行某些任务方面远远超过人类，并且将继续改进。最好的构建者已经能够识别AI最有前途的新兴功能，并建立模型和公司，将这些功能扩展成可靠的功能。他们认识到，规模往往会提高新兴能力的可靠性。米拉穆拉蒂,OpenAl:我认为关注这些新兴能力很重要，即使它们目前有些不可靠。尤其是对于正在组建公司的人来说，他们需要思考：“今天有什么可能？你今天看到了什么？”反复思考和观察会使这些模型很快变得可靠。达里奥阿莫迪，Anthropic:在我们发布GPT-2时，被认为最令人印象深刻的是，“将5 个英文翻译到法文的例子直接输人到语言模型中，然后再输人第6 句英文句子时，它会直接翻译成法文一一它竟然理解了这种模式。”尽管翻译得很差劲，但我们认为这只是一段惊人之旅的开始，因为没有限制，并且可以继续扩大规模。13.服务模型的成本会下降吗？计算成本高昂是限制模型发展的一个重大因素，尤其是当前的芯片短缺，更是将使用成本推向了高点。虽然从现实来看，如果NVIDIA（英伟达）明年生产了更多的H100芯片，那么计算成本也会下降。但是，难道我们就指望这一种可能性吗？达里奥阿莫迪，Anthropic:缩放定律的基本逻辑是，如果将计算增加n个因子，则需要将数据增加n的平方根因子，将模型的大小增加n的平方根因子。这个平方根基本上意味着模型本身不会变大，但在你这样做时硬件会变得更快。我认为这些东西将在86 1CASE 案例 C前沿观察未来三四年内继续发挥作用。如果没有架构创新，它们会变得更贵；如果有架构创新，它们会变得更便宜。但是，即使计算成本保持不变，模型级别的效率提升似乎也是不可避免的，尤其是在众多人才拥人该领域的情况下，AI本身可能是我们改进AI工作方式的最强大工具。另外，我认为最有前途的研究领域之一是针对特定用例微调大模型，而无需运行整个模型阿里：戈德西，Databricks:如果你制作了一千个在一千种不同事物上都擅长的LLM版本，并且你必须将每一个加载到GPU并提供服务，那成本将变高。所以，现在大家都在寻找一项只对模型进行小幅度修改，就能达到非常好的结果的技术。目前，确实也出现了很多技术，例如前缀调优、LoRA、C U BELoRA等，但还没有一个真正完美无缺的解决方案被证实有效。不过，总会有人找到的。14.如何衡量通用A/的进展？当我们扩展这些模型时，我们如何判断AI何时成为AGI（通用人工智能）？AGI其实是一个很难定义的东西，部分原因是它难以测量。诸如GLUE和SuperGLUE（评估自然语言理解模型性能的基准测试集）之类的定量基准，长期以来一直被用作评估AI模型性能的标准化度量。但与我们给人类进行的标准化测试一样，AI基准测试也会引发一个问题：在多大程度上衡量一个LLM的推理能力，以及在多大程度上衡量它的测试能力？阿里戈德西，Databricks:ACI最初的定性测试是图灵测试（对机器展示人类级别智能的定性测试，最初的测试是评估计算机是否能够让人类相信它是人类），但让人类相信AI是人类并不是难题，让AI去做人类在现实世界中所做的事情是一个难题。那么，我们可以使用哪些测试来了解这些系统的功能呢?狄兰费尔德，Figma:我们现在从这些系统中看到，让人相信你是人类很容易，但要真正创造出好的东西却很困难。我可以让GPT-4制定一个商业计划并向你推销，但这并不意味着你会投资。当你真正面对两个竞争的企业，其中一个由AI运营，另一个由人类运营一一而你选择投资AI企业时，那就令我担忧了。15.未来是否还需要人类参与？新技术通常会取代一些人的工作和职位，但它们也会开辟出全新的领域，提高生产力，使更多类型的工作对更多人来说变得可行。虽然很容易想象AI会自动化现有的工作，但想象AI带来的下一个问题和可能性要困难得多。马丁卡萨多,a16z:杰文斯悖论指出：如果需求是弹性的，那么当价格下降，需求将会远远超过下降的幅度。但我个人认为，在任何创造性资产或工作自动化方面，需求都是弹性的，即我们制造得越多，人们消费得就越多。我们非常期待生产力的大规模扩展、大量新岗位以及许多新事物的出现，就像我们在微芯片和互联网时代所见到的一样。凯文斯科特，Microsoft：我在弗吉尼亚州中部的农村长大，那里曾经以烟草种植、家具制造和纺织业为经济支撑。但在我高中毕业时，这三个行业都已崩溃。随后，商界评论BusinessReview87当当地人们能够使用其他的工具时，他们创造出了能为自己、家人和社区创造经济机会的卓越成就。要知道，他们解决了你我无法解决的问题，因为他们看到了世界的整个问题格局。AI同理，AI工具现在变得比以前更加容易使用，你可以使用这些工具做有趣的事情，并且可以在弗吉尼亚州小镇成为一名企业家。关键是，你无需拥有计算机科学博士学位或AI专业知识，你只需要保持好奇心和创业精神。狄兰费尔德，Figma:迄今为止的每一次技术转变或平台转变，都会导致更多需要设计的东西。比如移动互联网时代，你可能会认为“手机中的拍照像素少了，设计师也就少了。”但事实并非如此，那时我们看到了设计师数量最大的爆炸式增长。16.建议所有创业者倾力投身现在是创建AI初创公司的最激动人心的时刻：基础模型正在迅速扩展，经济最终向有利于初创公司的方向倾斜。另外，AI行业面临的很多问题需要解决，而这些问题需要极大的耐心和毅力。所以，作为一个发展迅速的年轻领域，现在是构建AI的最佳时机。达里奥阿莫迪，Anthropic:在任何特定时刻，都有两种类型的领域：一种是经验和积累知识非常丰富的领域，需要多年时间才能成为专家，比如生物学一一如果你只从事生物学6 个月，很难做出突破性或者诺贝尔奖级别的工作；另一种是非常年轻或发展速度非常快的领域，比如AI，其过去和现在都仍然是一个年轻且发展迅速的领域。而真正的通才往往可以超越那些在该领域已经待了很长时间的人，因为事情变化得太快了。并且，在年轻或发展迅速的领域拥有大量先前知识可能会成为一个劣势。米拉穆拉蒂,OpenAl:从数学的理论空间中可以得出一个要点，那就是你需要花很长时间来思考问题。有时你睡了一觉，醒来后就有了新的想法，或者在几天或几周的过程中，你会得到最终的解决方案。这几乎是一种不同的思考方式，你需要建立“直觉”和“坚持”去面对问题，并相信自己能够解决它。达芙妮科勒，insitro:随着时间的推移，我们所依赖的工具也随着时间的推移变得越来越好。比如生物工具，从过去的siRNA技术到CRISPR基因编辑技术，再到现在的可以替换整个基因组区域的CRISPRprime技术。这些生物工具可以为我们解决更多疾病提供可能性，为我们所生活的世界带来重大的改变。凯文斯科特,Microsoft:如果你思考过去发生的一些重大平台转变，那么就会发现在平台上创造的最有价值的东西并不是在平台变化的头一两年中部署的东西。以智能手机为例，让你在智能手机上花费大部分时间的并不是短信应用程序、网页浏览器或邮件客户端，而是在平台推出后几年中创建的新功能、新ApP所以，人们应该思考过去不可能实现但现在变得可能的困难事物，并且不要追求琐碎的事物。日编辑彭婕 E-mail: