原生多模态大模型Gemini.pdf

Gemini:一个非常有能力的多模式模式一个非常有能力的多模式模式的家庭的家庭Gemini小 组，我 是小 组，我 是Google1本 报 告 介 绍 了 一 个 新 的 多 模 式 模 型 家 族，本 报 告 介 绍 了 一 个 新 的 多 模 式 模 型 家 族，Gemini，它 在 图 像、音 频、视 频 和 文 本 理 解 方 面 表 现 出 卓 越 的 能 力。，它 在 图 像、音 频、视 频 和 文 本 理 解 方 面 表 现 出 卓 越 的 能 力。Gemini系 列 包 括系 列 包 括Ultra、Pro和和Nano尺 寸，适 用 于 从 复 杂 推 理 任 务 到 设 备 上 内 存 受 限 用 例 的 应 用。尺 寸，适 用 于 从 复 杂 推 理 任 务 到 设 备 上 内 存 受 限 用 例 的 应 用。对 广 泛 基对 广 泛 基准 测 试 的 评 估 表 明，我 们 最 强 大 的准 测 试 的 评 估 表 明，我 们 最 强 大 的GeminiUltra模 型 在模 型 在32个 基 准 测 试 中 的个 基 准 测 试 中 的30个 中 都 达 到 了 最 先 进 的 水 平个 中 都 达 到 了 最 先 进 的 水 平 值 得 注 意 的 是，它 是 第 一 个 在 经 过 充 分 研 究 的 考 试 基 准值 得 注 意 的 是，它 是 第 一 个 在 经 过 充 分 研 究 的 考 试 基 准MML U上 达 到 人 类 专 家 性 能 的 模 型，并 且 在 我 们 测 试上 达 到 人 类 专 家 性 能 的 模 型，并 且 在 我 们 测 试的的20个 多 模 式 基 准 测 试 中 都 提 高 了 最 先 进 的 水 平。我 们 相 信，个 多 模 式 基 准 测 试 中 都 提 高 了 最 先 进 的 水 平。我 们 相 信，Gemini模 型 在 跨 模 态 推 理 和 语 言 理 解 方 面 的 新模 型 在 跨 模 态 推 理 和 语 言 理 解 方 面 的 新功能将支持 各 种 各 样 的 用 例，我 们 将 讨 论 如 何 负 责 任 地 向 用 户 部 署 它 们。功能将支持 各 种 各 样 的 用 例，我 们 将 讨 论 如 何 负 责 任 地 向 用 户 部 署 它 们。1.介绍介绍我们现在展示 Gemini，一个由谷歌开发的高性能多模式模型家族。我们通过图像、音频、视频和文本数据对 Gemini 进行联合训练，目的是建立一个模型，该模型既具有跨模式的强大通才能力，又具有在每个各自领域的尖端理解和推理性能。Gemini 1.0 是我们的第一个版本，有三种尺寸:Ultra 用于高度复杂的任务，Pro 用于增强性能和大规模部署能力，Nano 用于设备上的应用。每个尺寸都是专门定制的，以解决不同的计算限制和应用需求。我们在一套全面的内部和外部基准上评估 Gemini模型的性能，这些基准涵盖了广泛的语言、编码、推理和多模态任务。Gemini 在大规模语言建模方面取得了最新进展(Anil 等人，2023;Brown 等人，2020;Chowdhery等，2023;霍夫曼等，2022 年;OpenAI,2023;Radford 等人，2019;Rae 等人，2021)，图像理解(Alayrac 等人，2022;Chen 等人，2022;Dosovitskiy 等，2020;OpenAI,2023 b;里德等，2022;Yu 等人，2022a)，音频处理(Radford 等人，2023;Zhang 等人，2023)，以及视频理解(Alayrac 等人，2022;Chen 等，2023)。它还建立在序列模型(Sutskever et al.，2014)、基于神经网络的深度学习的长期工作历史(LeCun et al.，2015)和机器学习分布式系统(Barham et al.，2022;Bradbury 等人，2018 年;Dean et al.，2012)，使大规模训练成为可能。我们最强大的模型 Gemini Ultra 在我们报告的 32 个基准测试中的 30 个中取得了最先进的新结果，包括 12 个流行文本和推理基准测试中的 10 个，9 个图像理解基准测试中的 9 个，6 个视频理解基准测试中的 6 个，以及 5 个语音识别和语音翻译基准测试中的 5 个。Gemini Ultra是第一个在MMLU 上实现人类专家性能的模型(hendricks 等人，2021a)一个通过一系列考试测试知识和推理的著名基准得分超过 90%。除了文本，GeminiUltra 在挑战多模态推理任务方面取得了显著进展。例如，在最近的 MMMU 基准测试(Yue et al.，2023)中，它包含了关于需要大学水平学科的多学科任务中的图像的问题 2023谷歌版权所有 1完整的作者列表见投稿和致谢部分。请发送信件到 gemini-1- https:/ 常有 能力 的多 模 式模 式的 家 庭知识和深思熟虑的推理，GeminiUltra 达到了新的最先进的得分 62.4%，比之前的最佳模型高出5 个百分点以上。它为视频问答和音频理解基准提供了统一的性能提升。定性评估展示了令人印象深刻的跨模态推理能力，使模型能够对输入的音频、图像和文本序列进行原生的理解和推理(见图 5 和表 13)。考虑将图1 中描述的教育环境作为一个例子。一个老师画了一个滑雪者下斜坡的物理问题，一个学生解决了这个问题。利用 Gemini 的多模态推理能力，该模型能够理解杂乱的笔迹，正确理解问题的表述，将问题和解决方案转换为数学排版，识别学生在解决问题时出错的具体推理步骤，然后给出一个经过处理的正确解决问题的方法。这开辟了令人兴奋的教育可能性，我们相信 Gemini模型的新多模态和推理能力在许多领域都有巨大的应用。图 1|验证一个学生对物理问题的解决方案。该模型能够正确识别所有手写内容并验证推理。在理解图像中的文本的基础上，它需要理解问题设置并正确遵循指令来生成 LATEX。大型语言模型的推理能力显示出了构建能够处理更复杂多步骤问题的多面手智能体的希望。AlphaCode 团队构建了 AlphaCode 2(Leblond 等人，2023 年)，这是一个新的双子座驱动的代理，它将 Gemini 的推理能力与搜索和工具使用相结合，在解决竞争性编程问题方面表现出色。在Codeforces 竞争性编程平台上，AlphaCode 2 在进入者中排名前 15%，比前 50%的最先进的前身有了很大的改进(Li et al.，2022)。2Gemini:一个非 常有 能力 的多 模 式模 式的 家 庭与此同时，我们通过 Gemini Nano 推进了效率的前沿，这是一系列针对设备部署的小型模型。这些模型在设备上的任务中表现出色，如摘要、阅读理解、文本补全任务，并相对于其规模，在推理、STEM、编码、多模态和多语言任务中表现出令人印象深刻的能力。在接下来的章节中，我们首先提供了模型架构、训练基础设施和训练数据集的概述。然后，我们对 Gemini 模型家族进行了详细的评估，涵盖了经过充分研究的基准和人类偏好评估，包括文本、代码、图像、音频和视频包括英语表现和多语言能力。我们还讨论了负责任部署的方法，2 包括在部署决定之前进行影响评估、制定模型政策、评估和减轻危害的过程。最后，我们讨论了Gemini 更广泛的影响，它的局限性以及它的潜在应用为人工智能研究和创新的新时代铺平了道路。2.模型架构模型架构Gemini 模型建立在 Transformer 解码器(Vaswani 等人，2017)之上，通过架构和模型优化的改进得到增强，以实现大规模的稳定训练，并在 Google 的张量处理单元上优化推理。它们经过训练以支持 32k 上下文长度，采用高效的注意力机制(例如，多查询注意力(Shazeer,2019)。我们的第一个版本，Gemini 1.0，包括三种主要尺寸，以支持广泛的应用程序，如表 1 所示。表 1|Gemini1.0 模型家族概述Gemini 模型经过训练，可以适应文本输入与各种各样的音频和视觉输入交织在一起，比如自然图像、图表、截图、pdf 和视频，它们可以产生文本和图像输出(见图 2)。Gemini 模型的视觉编码灵感来自我们自己在 Flamingo(Alayrac 等人，2022)、CoCa(Yu等人，2022a)和 PaLI(Chen 等人，2022)上的基础工作。有一个重要的区别，即模型从一开始就是多模态的，并且可以使用离散的图像标记原生输出图像(Ramesh et al.，2021;Yu et al.，2022b)。视频理解是通过将视频编码为大上下文窗口中的一系列帧来完成的。视频帧或图像可以与文本或音频自然交错，作为模型输入的一部分。模型可以处理可变的输入分辨率，以便花费更多的计算 3 我们计划在 GeminiUltra模型全面上市之前更新这份报告，提供更多细节。Gemini:一个非 常有 能力 的多 模 式模 式的 家 庭图2|Gemini支持文本、图像、音频和视频的交错序列作为输入(通过输入序列中不同颜色的标记来说明)。它可以用交错的图像和文本输出响应。需要细粒度理解的任务。此外，Gemini可以直接从通用语音模型(USM)(Zhang et al.，2023)特征中摄取 16kHz 的音频信号。这使得模型能够捕捉音频被天真地映射到文本输入时通常会丢失的细微差别(例如，请参阅网站上的音频理解演示)。训练 Gemini 系列模型需要在训练算法、数据集和基础设施方面进行创新。对于 Pro 模型，我们的基础设施和学习算法的固有可扩展性使我们能够在几周内完成预训练，利用 Ultra 的一小部分资源。Nano 系列模型利用蒸馏和训练算法的额外进步，为各种任务(如摘要和阅读理解)生产一流的小型语言模型，为我们的下一代设备体验提供动力。3.培训基础设施培训基础设施我们使用 TPUv5e 和 TPUv4(Jouppi 等人，2023)来训练 Gemini 模型，具体取决于它们的大小和配置。GeminiUltra 训练中心在多个数据中心使用了大量的 TPUv4 加速器。这代表了我们之前的旗舰型号 PaLM-2 的规模显着增加，这带来了新的基础设施挑战。加速器数量的增加会导致整个系统中硬件的平均故障时间成比例地减少。我们最小化了计划重调度和抢占的比率，但由于宇宙射线等外部因素，在如此大规模的所有硬件加速器中，真正的机器故障是司空见惯的(Michalak et al.，2012)。TPUv4加速器部署在4096个芯片的“SuperPods”中，每个芯片连接到一个专用的光开关，它可以在大约10秒内动态地将4x4x4芯片立方体重新配置为任意3D环面拓扑(Jouppi等人，2023)。对于GeminiUltra，我们决定在每个超级舱中保留少量的立方体，以允许热备用和滚动维护。TPU 加速器主要通过高速芯片间互连进行通信，但在 GeminiUltra 规模下，我们使用谷歌的集群内和集群间网络在多个数据中心中组合 SuperPods(Poutievski 等人，2022;Wetherall 等人，2023;姚红等，2018)。谷歌的 4Gemini:一个非 常有 能力 的多 模 式模 式的 家 庭网络延迟和带宽足以支持常用的同步训练范式，利用 superpods 内部的模型并行性和 superpods 之间的数据并行性。Jax(Bradbury et al.，2018)和Pathways(Barham et al.，2022)的“单控制器”编程模型允许单个Python进程协调整个训练运行，极大地简化了开发工作流。XLA编译器中的GSPMD分区器(Xu et al.，2021)对训练步长计算进行分区，MegaScale XLA编译器(XLA,2019)通过静态调度适当的集合，使它们在步长时间变化很小的情况下最大限度地与计算重叠。使用对持久集群存储的权重定期检查点的传统方法，在这种规模上保持一个高的 goodput3 at是不可能的。对于 Gemini，我们使用了模型状态的冗余内存副本，并且在任何计划外的硬件故障上，我们可以直接从完整的模型副本中快速恢复。与 PaLM 和 PaLM-2 相比(Anil et al.，2023)，尽管使用了更大的训练资源，但这在恢复时间上提供了显着的加速。因此，最大规模训练工作的总体有效产出从 85%增加到 97%。空前规模的训练总是会出现新的有趣的系统故障模式在这种情况下，我们需要解决的问题之一是“无声数据损坏(SDC)”(Dixit 等人，2021;Hochschild et al.，2021;Vishwanathan et al.，2015)。虽然这种情况非常罕见，但 Gemini的规模意味着我们可以预期 SDC 事件每隔一两个星期就会影响训练。快速检测和移除故障硬件需要几种新技术，利用确定性重放来隔离不正确的计算，并结合空闲机器和热备用上的主动 SDC 扫描仪。我们完全确定的基础设施使我们能够在 Ultra 模型的开发过程中快速识别根本原因(包括硬件故障)，这是稳定训练的关键因素。4.训练数据集训练数据集Gemini 模型是在一个多模态和多语言的数据集上训练的。我们的预训练数据集使用来自网络文档、书籍和代码的数据，包括图像、音频和视频数据。我们使用 SentencePiece tokenizer(Kudo 和 Richardson,2018)，发现在整个训练语料库的大样本上训练 tokenizer 可以提高推断的词汇表，并随后提高模型性能。例如，我们发现 Gemini 模型可以有效地标记非拉丁文字，这反过来又有利于模型质量以及训练和推理速度。用于训练最大模型的 token 数量是按照 Hoffmann 等人(2022)的方法确定的。较小的模型被训练为明显更多的 token，以提高给定推理预算的性能，类似于 Touvron 等人(2023a)提倡的方法。将高质量过滤器应用于所有数据集，使用启发式规则和基于模型的分类器。我们还执行安全过滤，以删除有害内容。我们从训练语料库中过滤我们的评估集。最终的数据混合和权重是通过较小模型上的消融来确定的。我们分阶段训练以在训练期间改变混合组成-在训练结束时增加领域相关数据的权重。我们发现，数据质量对一个高性能的模型至关重要，并相信围绕寻找预训练的最佳数据集分布仍然存在许多有趣的问题。5 3我们将 goodput定义为计算有用的新步骤所花费的时间除以训练工作经过的时间。Gemini:一个非 常有 能力 的多 模 式模 式的 家 庭5.评价评价Gemini 模型本身是多模态的，因为它们是通过文本、图像、音频和视频联合训练的。一个开放的问题是，这种联合训练是否可以产生一个在每个域都具有强大能力的模型即使与仅为单个域量身定制的模型和方法相比。我们发现情况就是这样:Gemini 在广泛的文本、图像、音频和视频基准上树立了一个新的艺术状态。5.1.文 本文 本5.1.1.学 术 标 准学 术 标 准我们将 Gemini Pro 和 Ultra与一套外部法学硕士和我们之前最好的型号 PaLM 2 进行了比较，涵盖了推理、阅读理解、STEM 和编码等一系列基于文本的学术基准。我们将这些结果报告在表 2 中。总体而言，我们发现 Gemini Pro 的性能优于 GPT-3.5 等推理优化模型，并与市面上几种功能最强大的模型相媲美，而 Gemini Ultra 的性能优于当前所有模型。在本节中，我们将检查其中的一些发现。在 MMLU 上(Hendrycks 等人，2021a)，Gemini Ultra 可以优于所有现有模型，达到 90.04%的精度。MMLU 是一个全面的考试基准，它衡量了 57 个科目的知识。人类专家的表现被基准作者衡量为 89.8%，GeminiUltra 是第一个超过这个门槛的模型，之前最先进的结果为 86.4%。要取得高性能，除了阅读理解和推理外，还需要跨许多领域的专业知识(例如法律、生物学、历史等)。我们发现，当与考虑模型不确定性的思维链提示方法(Wei et al.，2022)结合使用时，GeminiUltra 可以达到最高的精度。该模型用 k 个样本产生一个思维链，例如 8 或 32。如果有超过预设阈值的共识(根据验证分割选择)，它就选择这个答案，否则它就恢复到一个基于最大似然选择的贪婪样本，而不需要思维链。我们请读者参考附录，详细分析了这种方法与仅采用思维链提示或仅采用贪婪抽样的比较情况。在数学这个通常用来测试模型分析能力的领域，GeminiUltra 在初级考试和竞赛级问题集中都表现得很好。对于小学数学基准 GSM8K(Cobbe et al.，2021)，我们发现 Gemini Ultra 在思维链提示和自我一致性(Wang et al.，2022)的情况下达到 94.4%的准确率，而之前使用相同提示技术的最佳准确率为 92%。从中学和高中数学竞赛(math 基准)中得出的难度增加的数学问题中也观察到类似的积极趋势，Gemini Ultra 模型优于所有竞争对手模型，使用 4 次提示达到 53.2%。该模型在来自美国数学竞赛的更困难的任务(2022 年和 2023 年的 150 道题)上的表现也超过了最先进的水平。较小的模型在这项具有挑战性的任务中表现不佳，得分接近随机，但 Gemini Ultra 可以解决 32%的问题，而 GPT-4 的解题率为 30%。GeminiUltra 还擅长编码，这是当前法学硕士的一个流行用例。我们在许多常规和内部基准上评估了该模型，并将其作为更复杂的推理系统(如 AlphaCode 2)的一部分来衡量其性能(参见关于复杂推理系统的 5.1.7节)。例如，在 HumanEval 上，一个将函数描述映射到 Python 实现的标准代码完成基准(Chen et al.，2021)，指令调优的 Gemini Ultra 正确实现了74.4%的问题。在 python 代码生成任务的新评估基准 Natural2Code 中，我们确保没有 web 泄漏，GeminiUltra 获得了 74.9%的最高分数。6Gemini:一个非 常有 能力 的多 模 式模 式的 家 庭表 2|Gemini在文本基准测试中的表现与外部比较和 PaLM 2-l。该模型产生了一个 k=8 或 32 个样本的思维链，如果有一个高于阈值的共识(基于验证分割选择)，它就选择这个答案，否则就恢复到一个贪婪的样本。进一步分析见附录 9.1。结果于2023年11月通过API自行收集。所显示的结果使用Touvron等人(2023b)报告中的净化数字作为与也经过净化的G emini模型最相关的比较。对这些基准的评估具有挑战性，可能会受到数据污染的影响。我们在训练后进行了广泛的泄露数据分析，以确保我们在这里报告的结果尽可能科学合理，但仍然发现了一些次要问题，并决定不报告例如 LAMBADA 的结果(Paperno et al.，2016)。作为评估过程的一部分，在一个流行的基准 HellaSwag(Zellers 等人，2019)上，我们发现在特定网站提取物上额外的 100 个微调步骤对应于 HellaSwag 训练集(未包括在 Gemini 预训练集中)，当使用 1 次提示进行测量时，Gemini Pro的验证精度提高到 89.6%，Gemini Ultra 的验证精度提高到 96.0%(我们测量的 GPT-4 在通过 API进行 1 次评估时获得了 92.3%)。这表明，基准结果易受预训练数据集组成的影响。我们选择仅在10 次评估设置中报告 HellaSwag 去污结果。我们认为有必要在没有泄露数据的情况下，制定更强大、更细致的标准化评估基准。因此，我们在最近发布的几个新的评估数据集(如 WMT23 和Math-AMC 2022-2023 问题)或从非网络来源(如 Natural2Code)内部生成的数据集上评估 Gemini 模型。我们请读者参考附录以获取我们评估基准的全面列表。7Gemini:一个非 常有 能力 的多 模 式模 式的 家 庭即便如此，模型在这些基准上的表现为我们提供了模型能力的指示，以及它们可能在哪里对现实世界的任务产生影响。例如，GeminiUltra 令人印象深刻的推理能力和 STEM 能力为在教育领域4的法学硕士学位的进步铺平了道路。解决复杂数学和科学概念的能力为个性化学习和智能辅导系统开辟了令人兴奋的可能性。5.1.2.能 力 趋 势能 力 趋 势我们调查了 Gemini 模型家族的能力趋势，通过在六种不同能力的 50 多个基准测试中对它们进行整体评估，注意到在上一节中讨论了一些最值得注意的基准测试。这些能力是:涵盖开卷/闭卷检索和问答任务的“事实性”;“长上下文”涵盖长形式的摘要、检索和问答任务;“数学/科学”，包括数学问题求解、定理证明、科学考试等任务;需要算术、科学和常识推理的“推理”任务;以多种语言进行翻译、总结和推理的“多语言”任务。请参阅附录，了解每个能力所包含的详细任务列表。图 3|跨不同能力的 Gemini模型族的语言理解和生成性能(由 Gemini Pro 模型规范化)。我们在图3中观察到随着模型大小的增加，质量得到了一致的提升，特别是在推理、数学/科学、摘要和长上下文方面。GeminiUltra是所有六个功能的最佳模型。GeminiPro是Gemini系列中的第二大型号，在服务效率更高的同时也很有竞争力。5.1.3.Nano为了使人工智能更接近用户，我们讨论了为设备上部署而设计的 Gemini Nano 1 和 Nano 2 模型。这些模型通过每个任务的微调，在摘要和阅读理解任务中表现出色。图 3 显示了这些预训练模型与更大的 Gemini Pro 模型的性能对比，而表 3 则更深入地介绍了具体的事实、编码、数学/科学和推理任务。Nano-1和 Nano-2 模型尺寸分别只有 1.8B 和 3.25B 参数。尽管他们规模庞大，但他们在事实性(即检索相关任务)方面表现出异常强劲的表现，在推理、STEM、编码、多模态和 8 参见网站https:/deepmind.google/gemini上的演示。Gemini:一个非 常有 能力 的多 模 式模 式的 家 庭多语言的任务。随着新功能可被更广泛的平台和设备访问，Gemini模型扩展了对每个人的可访问性。表 3|与 GeminiPro 模型相比，GeminiNano 系列在事实、总结、推理、编码和 STEM任务方面的表现。5.1.4.MultilingualityGemini 模型的多语言能力是通过一组不同的任务来评估的，这些任务需要多语言理解、跨语言泛化和多语言文本的生成。这些任务包括机器翻译基准测试(用于高、中、低资源翻译的 WMT 23;Flores、NTREX(用于低资源语言和极低资源语言)、摘要基准测试(XLSum、Wikilingua)和通用基准测试的翻译版本(MGSM:专业翻译成 11 种语言)。机器翻译机器翻译翻译是机器学习领域的经典基准，有着丰富的历史。我们对 WMT 23 翻译基准测试中的整套语言对进行了指令调优(参见 6.4.2 节)的Gemini Ultra评估。总体而言，我们发现 Gemini Ultra(以及其他 Gemini 模型)在从英语到任何其他语言的翻译方面表现非常好，并且在翻译非英语时，在高资源，中等资源和低资源语言时超过了基于法学硕士的翻译方法。在 WMT 23非英语翻译任务中，Gemini Ultra 实现了最高的法学硕士翻译质量，BLEURT(Sellam et al.，2020)的平均得分为 74.8 分，而 GPT-4 的得分为 73.6 分，PaLM的得分为 72.2 分。当对 WMT 23 的所有语言对和方向进行平均时，我们看到 Gemini Ultra 在该基准上的平均得分为 74.4,GPT-4 为 73.8,PaLM 2-L为 72.7。表 4|Gemini模型在 WMT 23 翻译基准上的性能。所有数字都用 1-shot。除了以上的语言和翻译任务，我们还在资源非常少的语言上评估 GeminiUltra。这些语言是从以下语言集的尾部采样的:Flores-200(Tamazight 和 Kanure)，NTREX(北恩德贝勒)和内部基准(Quechua)。9Gemini:一个非 常有 能力 的多 模 式模 式的 家 庭对于这些语言，无论是英语还是英语，Gemini Ultra在一次射击设置中平均chrF得分为27.0，而第二好的型号PaLM 2-L的得分为25.3。除了翻译，我们还评估了 Gemini 在各种语言的挑战性任务中的表现。我们专门研究了数学基准MGSM(Shi et al.，2023)，它是数学基准 GSM8K(Cobbe et al.，2021)的翻译版本。我们发现Gemini Ultra 的准确率达到了79.0%，超过了 PaLM 2-L的 74.7%，在8 次射击设置中对所有语言进行平均。我们还在多语言摘要基准-XLSum(Hasan 等人，2021)和 WikiLingua(Ladhak 等人，2020)上对 Gemini进行了基准测试。在 XLSum 中，Gemini Ultra的平均 rougeL得分为 17.6，而 PaLM 2的平均 rougeL 得分为 15.4。对于 Wikilingua,Gemini Ultra(5 杆)落后于 PaLM 2(3 杆)，以 BLEURT评分衡量。完整结果见表 5。总体而言，多种多样的多语言基准测试表明，Gemini 系列模型具有广泛的语言覆盖范围，使它们也能够覆盖语言资源匮乏的地区和地区。表 5|Gemini 模型在多语言数学和总结上的表现。5.1.5.长 背 景长 背 景Gemini 模型的序列长度为 32,768 个标记，我们发现它们有效地利用了它们的上下文长度。我们首先通过运行一个合成检索测试来验证这一点:我们将键值对放在上下文的开头，然后添加长填充文本，并要求与特定键相关联的值。我们发现，在查询整个上下文长度时，Ultra 模型检索正确值的准确率为 98%。我们通过绘制图4 中一组长文档的负对数似然(NLL)与令牌索引的关系来进一步研究这一点。我们发现 NLL 随序列位置的增加而减小，直到完整的 32K 上下文长度。Gemini 模型更长的上下文长度支持新的用例，例如 5.2.2 节中讨论的文档检索和视频理解。图4|在一组长文档上，负对数似然作为token索引在32K上下文长度上的函数。10Gemini:一个非 常有 能力 的多 模 式模 式的 家 庭5.1.6.人 类 偏 好 评 价人 类 偏 好 评 价人类对模型输出的偏好提供了质量的重要指示，是自动评估的补充。我们对 Gemini 模型进行了并排的盲评估，人类评分员对两个模型对同一提示的反应进行了评估。我们使用第 6.4.2 节中讨论的技术指导调优(欧阳等人，2022)预训练模型。指令调优版本的模型在一系列特定能力上进行评估，如遵循指令、创意写作、多模态理解、长上下文理解和安全性。这些能力包括一系列受当前用户需求启发的用例和受研究启发的潜在未来用例。指令调整的 Gemini Pro 模型在一系列功能上提供了很大的改进，包括 Gemini Pro 模型优于PaLM 2 模型 API，创意写作时间为 65.0%，遵循指令的时间为 59.2%，安全响应时间为 68.5%，如表 6 所示。这些改进直接转化为更有帮助和更安全的用户体验。表 6|Gemini Pro 对 PaLM 2 的胜率(text-bison001)，95%置信区间。5.1.7.复 杂 推 理 系 统复 杂 推 理 系 统Gemini 还可以结合其他技术，如搜索和工具使用来创建强大的推理系统，可以解决更复杂的多步骤问题。这种系统的一个例子是 AlphaCode 2，这是一种新的最先进的代理，擅长解决竞争性编程问题(Leblond et al,2023)。AlphaCode 2 使用专用版本的 Gemini Pro对竞争性编程数据进行了调优，类似于 Li 等人(2022)中使用的数据在可能的程序空间中进行大规模搜索。接下来是量身定制的过滤、聚类和重排序机制。Gemini Pro 经过微调，既可以作为生成提案解决方案候选的编码模型，又可以作为用于识别和提取最有希望的候选代码的奖励模型。AlphaCode 2在Codeforces5(与AlphaCode相同的平台)上进行评估，从1区和2区进行12场比赛，总共77个问题。AlphaCode 2解决了43%的竞争问题，比之前创纪录的AlphaCode系统解决了25%的问题提高了1.7倍。将其映射到竞争排名中，建立在GeminiPro之上的AlphaCode 2平均估计位于第85个百分位-即。它的表现优于85%的参赛者。这与AlphaCode相比是一个重大进步，后者的表现仅超过50%的竞争对手。强大的预训练模型与搜索和推理机制的组合是一个令人兴奋的方向，朝向更通用的智能体;另一个关键因素是对一系列模态的深入理解，我们将在下一节中讨论。11 5http:/ 常有 能力 的多 模 式模 式的 家 庭5.2.多 通 道多 通 道Gemini 的模特天生是多模式的。这些模型展示了一种独特的能力，可以将它们跨模态的能力(例如从表格、图表或图形中提取信息和空间布局)与语言模型的强大推理能力(例如其在数学和编码方面的最先进性能)无缝结合起来，如图 5 和 12 中的示例所示。这些模型还在识别输入中的细粒度细节、聚合跨空间和时间的上下文以及在时间相关的视频帧和/或音频输入序列上应用这些能力方面表现出强大的性能。下面的章节提供了跨不同模态(图像、视频和音频)的模型的更详细的评估，以及该模型的图像生成能力和跨不同模态结合信息能力的定性示例。5.2.1.形 象 的 理 解形 象 的 理 解我们在四种不同的能力上评估了该模型:使用字幕或问答任务(如VQAv2)的高级目标识别;使用要求模型识别低级细节的TextVQA和DocVQA等任务的细粒度转录;需要使用ChartQA和InfographicVQA任务对输入布局进行空间理解的图表理解;以及使用Ai2D、MathVista和MMMU等任务进行多模态推理。对于零样本QA评估，该模型被指示提供与特定基准一致的简短答案。所有数字都是使用贪婪采样获得的，没有使用任何外部OCR工具。图像理解图像理解Gemini Ultra 即使在零拍摄中也始终优于现有的方法，特别是在不使用任何外部 OCR 引擎(“仅像素”)的自然图像、文本、文档和数字的 OCR 相关图像理解任务中。许多现有方法在各自的任务上进行微调，用灰色突出显示，这使得与 0-shot而不是完全相同的比较。12Gemini:一个非 常有 能力 的多 模 式模 式的 家 庭在表 7 中，我们发现 GeminiUltra 在广泛的图像理解基准测试中是最先进的。它在一系列不同的任务中取得了强大的性能，例如在自然图像和扫描文档上回答问题，以及理解信息图、图表和科学图表。与公开报道的其他型号(最著名的是 GPT-4V)的结果相比，Gemini 在零射击评估中表现更好。它也超过了几个现有的模型，这些模型针对大多数任务在基准的训练集上进行了专门的微调。Gemini 模 型的 能力 在学术 基准 方面 带来了 显著 的进 步，比 如 MathVista(+3.1%)6 或InfographicVQA(+5.2%)。MMMU(Yue 等人，2023)是最近发布的一个评估基准，它由 6个学科的图像问题组成，每个学科都有多个学科，需要大学水平的知识来解决这些问题。GeminiUltra 在这个基准上取得了最好的成绩，将最先进的结果提高了 5 个百分点以上，并且在 6 个学科中的 5 个学科中超过了之前的最佳成绩(见表 8)，从而展示了其多模态推理能力。表 8|Gemini Ultra在每个学科在每个学科MMMU基准基准(Yue 等，2023)上的表现上的表现。每门学科涵盖多个学科，需要具备大学水平的知识和复杂推理。Gemini模型还能够同时跨模式和多种全球语言进行操作，既可以用于图像理解任务(例如，包含冰岛语文本的图像)，也可以用于生成任务(例如，为多种语言生成图像描述)。我们使用 Flamingo评估协议(Alayrac et al.，2022)，在 4 个镜头设置的 cross-3600(XM-3600)基准中，评估了在选定的语言子集上生成图像描述的性能，没有对所有模型进行任何微调。如表 9 所示，Gemini 模型比现有的最佳模型 Google pal-x 有了显著的改进。表9|在XM-3600数据集的语言子集上进行基准测试时，多语言图像理解多语言图像理解Gemini模型在多种模型在多种语言的图像字幕方面优于现有模型(Thapliyal等，2022)。13 6MathVista是一个全面的数学推理基准，由 28 个先前发布的多模态数据集和 3 个新创建的数据集组成。我们的MathVista 结果是通过运行 MathVista 作者的评估脚本获得的。Gemini:一个非 常有 能力 的多 模 式模 式的 家 庭图 5|Gemini的多模态推理能力的多模态推理能力生成用于重新排列子图的 matplotlib 代码。多模态提示在左上角显示为灰色。GeminiUltra 的反应，包括其生成的代码，显示在右边的蓝色栏中。左下图显示的是生成代码的渲染版本。成功解决此任务显示了该模型结合几种功能的能力:(1)对图中 所示 函数的 识对图中 所示 函数的 识别别;(2)反向图形反向图形来推断可能会生成子图的代码;(3)指令跟随指令跟随，将子图放置在其期望的位置;以及(4)抽抽象推理象推理，推断指数图必须保持在原来的位置，因为正弦图必须移动到三维图的位置。图5中的定性评估举例说明了Gemini Ultra的多模态推理能力。该模型需要解决生成matplotlib代码的任务，该代码将重新排列用户提供的一组子图。模型输出显示，它成功地解决了这个任务 14Gemini:一个非 常有 能力 的多 模 式模 式的 家 庭结合多种理解用户图的能力，推断生成它所需的代码，遵循用户指令将子图放在他们想要的位置，以及对输出图的抽象推理。这突出了GeminiUltra的原生多模态，并回避了其更复杂的推理能力，跨越交错序列的图像和文本。我们请读者参考附录了解更多定性的例子。5.2.2.视 频 的 理 解视 频 的 理 解理解视频输入是实现有用的通用性智能体的重要一步。通过从训练中保留的几个既定基准来衡量视频理解能力。这些任务衡量了模型是否能够理解和推理时间相关的帧序列。对于每个视频任务，我们从每个视频剪辑中采样 16 个等间隔的帧，并将它们提供给 Gemini 模型。对于 YouTube 视频数据集(除了 NextQA 和 Perception 测试之外的所有数据集)，我们在 2023 年 11 月仍然公开可用的视频上评估 Gemini模型。Gemini Ultra 在各种少镜头视频字幕任务和零镜头视频问答任务上取得了最先进的结果，如表10 所示。这证明了其跨几帧的强大时间推理能力。附录中的图 21 提供了一个定性的例子，可以理解足球运动员的击球机制视频，并对球员进行推理可以提高他们的比赛。表 10 选定的学术基准上|跨 任务 和 语 言的 少 镜 头视 频 理 解跨 任务 和 语 言的 少 镜 头视 频 理 解。报告的指标是视频字幕的 CIDER,NextQA 的 WUPS，以及感知测试和 ActivityNet-QA 的 top-1 准确率。对于 ActivityNet-QA，我们使用 Video-LLAVA(Lin et al.，2023)评估协议。5.2.3.图 像 生 成图 像 生 成Gemini能够本地输出图像，而不必依赖中间的自然语言描述，这可能会限制模型表达图像的能力。这独特地使模型能够在