2024年自动驾驶行业报告-”端到端“渐行渐近.pdf

出品机构：甲子光年智库智库院长：宋涛报告撰写：翟惠宇发布时间：2024.07*甲子光年智库分析师胡博文对本次报告撰写亦有贡献。目 录Part 01发展背景：汽车智能化正加速普及P02Part 02趋势辨析：端到端自动驾驶的价值P09Part 03厂商实践：技术路线的选择与践行P18Part 04未来展望：端到端的挑战与未来式P26智能化水平已经成为国内汽车消费者最核心的购买因素之一。p国内汽车工业在电动化和智能化领域的迅猛发展，正在重塑消费者的购车偏好，消费者对于自动驾驶技术、智能座舱等高端智能化功能的兴趣日益浓厚。p超半数的汽车消费者将智能化水平作为购车时的关键考量因素，他们追求更先进的自动驾驶体验、更智能的座舱环境以及更个性化的驾驶乐趣。p智能化在购车决策中的重要性日益凸显，这也促使众多汽车制造商加快了智能化技术的研发和工程投入；继续航里程和用车成本之后，智能化已成为新能源汽车竞争的主要领域，未能跟上智能化步伐的汽车品牌可能会逐渐失去市场竞争力。59%54%51%48%47%47%43%31%30%用车成本低智能化程度高保养成本低外观时尚环保噪音小获取牌照动力性能配置表精炼图1：购车时“智能化”考量因素高居第二65%62%51%51%47%43%42%40%39%更先进的自动驾驶功能智能座舱体验更好造型设计美观原生新能源汽车平台乘坐更舒适售后体验更好OTA能力更强续航里程表现驾驶乐趣更高图2：自动驾驶、智能座舱、OTA能力受广泛关注智能驾驶渗透提速，“智能化”竞争进入白热化。pNOA技术的渗透率正迅速提升：自2022年“量产元年”起，高速NOA和城区NOA的普及率显著增长。目前，高速NOA的渗透率已超10%，城市NOA也超过了3%。p在众多厂商的推动下，重视“智能化”的汽车越来越受消费者青睐，尤其是那些配备自动泊车和L2.5以上级别NOA功能的车型；这些车型已成为车企竞争的焦点，预示着未来缺乏NOA功能的车辆可能失去竞争力。p自动驾驶功能的普及，得益于车企的持续投入和消费者对这些技术的接受度，这已成为汽车市场竞争力的关键。02468101214Dec-22Jan-23Feb-23Mar-23Apr-23May-23Jun-23Jul-23Aug-23Sep-23Oct-23Nov-23Dec-23Jan-24Feb-24Mar-24标配选配合计图1：高速NOA渗透率持续增长（%）012345Dec-22Jan-23Feb-23Mar-23Apr-23May-23Jun-23Jul-23Aug-23Sep-23Oct-23Nov-23Dec-23Jan-24Feb-24Mar-24标配选配合计图2：城市NOA渗透率持续增长（%）自动驾驶科技公司排队冲击IPO，智驾加速普及，行业正在苏醒。p尽管一级市场融资受到整体投融资环境的影响，但自动驾驶公司通过不断优化核心软硬件产品，向更务实的L2辅助驾驶转型，加速了智能驾驶的商业化进程，众多企业开始准备IPO。p同时，随着智能驾驶功能的普及，消费者对其正面认知逐渐增强，乘用车自动驾驶市场稳步增长，这促使主机厂与智能驾驶解决方案供应商之间的合作更加紧密，进一步推动了智能驾驶技术的商业化应用。企业名称计划上市地IPO进程主营业务禾赛科技美股2023年2月上市激光雷达传感器海创光电科创板2023年5月提交申请激光雷达传感器黑芝麻智能港交所2023年6月提交申请自动驾驶计算芯片图达通美股2023年8月完成IPO备案激光雷达传感器如祺出行港交所2023年8月提交申请Robotaxi、网约车运营文远知行美股2023年8月完成IPO备案自动驾驶解决方案、Robotaxi赛目科技港交所2023年10月提交申请ICV仿真测试、验证知行科技港交所2023年12月已上市自动驾驶解决方案速腾聚创港交所2024年1月已上市激光雷达传感器小马智行美股2024年4月完成IPO备案Robotaxi、Robotruck、智能驾驶解决方案纵目科技港交所2024年3月提交申请智能驾驶解决方案地平线港交所2024年3月提交申请自动驾驶计算芯片、智能驾驶解决方案佑驾创新港交所2024年5月提交申请智能驾驶解决方案Momenta美股2024年6月完成IPO备案自动驾驶解决方案表：2023年起，自动驾驶厂商扎堆IPO订单需求扩张业绩快速上涨产品性能提升一级市场融资难需要研发投入造血能力待提升智驾量产车上路，数据飞轮已经转了起来。p自BEV（鸟瞰视图）结合Transformer架构成为自动驾驶感知领域的主要发展方向以来，数据驱动在其中扮演的角色愈发关键；众多汽车制造商和自动驾驶解决方案提供商都已构建数据闭环系统，以支持自动驾驶系统的模型训练和持续迭代。p目前，配备高级智能驾驶功能的汽车已实现规模化部署，这为自动驾驶算法的持续创新和优化提供了坚实的数据支撑。图：打造数据闭环，量产时代下的自动驾驶应用部署为数据驱动提供条件智能驾驶汽车规模化数据采集数据分析数据标注模型训练模型验证算法部署自动驾驶智算中心打造数据闭环升级现有智能车影子模式触发数据回传OTA部署算法升级AI驱动的数据闭环量产项目提供海量车端大数据：人工智能技术加持，数据筛选、标注、训练、验证形成全链路闭环，持续迭代智能驾驶产品相比过去工程师制定的规则算法，能够实现低成本、高效率的系统迭代由此实现闭环自动化，数据驱动自动驾驶，在为现有车辆进行OTA功能升级的同时，为后续更高级别的自动驾驶车辆做准备数据积累训练高阶自动驾驶算法L3/L4量产上车自动驾驶技术发展与普及的背后，是底层AI技术的进步。pAI技术的应用场景众多，自动驾驶无疑是其中的核心议题；它不仅代表了技术应用的前沿，也是产学两界AI专家不懈追求、共同攻克的领域。p自动驾驶行业的发展与AI技术的每次飞跃紧密相连：从卷积神经网络（CNN）、循环神经网络（RNN）、生成对抗网络（GAN）到Transformer，每一次技术革新背后，都伴随着深度学习等基础AI技术的突破性进展。正是AI技术的持续进步，构成了自动驾驶技术不断演进和成熟的基础动力。至今CNN（卷积神经网络）图像识别处理表现优秀；有效处理传感器数据融合需要大量数据标注；时序任务处理能力偏弱2011RNN（LSTM）+GAN更擅长处理时间序列数据+生成高质量合成数据预测车辆未来轨迹能力长期时序建模能力弱；数据质量难把控；实时性要求无法满足BEV（鸟瞰视角）直观且丰富的车身周边环境表示需要复杂的传感器数据融合与校准，计算量庞大BEV+Transformer结合Transformer更强的处理序列数据和复杂上下文关系方面的能力，实现更精确的环境感知、更长远的运动规划和更全局化的决策201620182020图：自动驾驶技术的主要迭代路径OCC+TransformerOccupancy Network基于学习进行三维重建，是BEV的3D迭代2022那么，下一步？CNN提出后，深度学习进入爆发期，自主学习能力被释放Transformer大模型基于大规模数据训练，具备更强的鲁棒性与泛化能力，在自动驾驶行业大方异彩AI大模型技术已经在自动驾驶领域得到广泛应用。pTransformer大模型技术在自动驾驶领域并非新近出现，其实早在ChatGPT之前，这一技术就已被应用于自动驾驶的感知任务。p特斯拉在2021年就展示了其基于BEV视角结合Transformer的感知方案，此后，国内厂商纷纷跟进并进行创新，这间接加速了2022年之后高阶智能驾驶方案的快速落地。p从云端的模型训练到车端的模型部署，大模型技术已被广泛应用于数据处理、模型融合与优化等多个环节，显著提高了模型训练的效率和系统的整体性能。图：从云端到车端，大模型已经在自动驾驶感知模块开始规模化应用感知决策控制数据自动标注利用大模型通过自监督学习预训练，配合极少量人工标注微调，实现自动标注视频clip数据。大模型的泛化性能用于挖掘长尾数据，如使用CLIP模型进行基于文本描述的图像数据检索。数据挖掘大模型通过学习海量数据中的特征，然后用来配合中、小模型的训练，提高中、小模型的性能。知识蒸馏数据生成使用NeRF技术隐式存储场景，通过渲染图片的监督学习学出场景的隐式参数，实现场景重建和高真实感数据生成。云端车端合并不同小模型将处理不同子任务的小模型合并成一个大模型，在车端进行联合推理计算，提高感知算法的准确性和实时性。物体检测利用大模型检测真值固定的物体，如车道线、交通灯等，这些物体的位置不受天气、时间等因素的影响。车道拓扑预测使用自回归编解码网络将BEV特征解码为结构化的拓扑点序列，实现车道拓扑预测。预测目 录Part 01发展背景：汽车智能化正加速普及P02Part 02创新思路：端到端自动驾驶的价值P09Part 03厂商实践：技术路线的选择与践行P18Part 04未来展望：端到端的挑战与未来式P26传统模块化自动驾驶存在信息传递损耗、计算效率低下等问题。p传统自动驾驶系统已经发展得相当成熟，通常采用模块化串联的部署方式：其核心模块涵盖感知、定位、预测、决策和控制等，每个主要模块及其子模块都承担着特定的职责，且每个模块的输入通常来源于前一模块的输出。p模块化设计的优势在于能够将复杂的自动驾驶任务分解为更小、更易于管理的子任务，同时便于问题的追踪和定位；然而，随着自动驾驶技术向数据驱动的方向发展，模块化设计的某些局限性也逐渐显现，例如信息传递过程中可能出现的损耗、计算延迟以及累积误差等问题。图：传统自动驾驶的模块化部署定位模块高精地图车辆定位传感器摄像头激光雷达毫米波雷达IMU轮速感知模块障碍物识别车道线识别红绿灯识别目标跟踪传感器融合底盘通信预测模块车辆行为预测行人行为预测规划模块全局路径规划车辆行为决策控制模块转向油门/电门刹车PID/MPC信息的损耗与丢失误差累积影响安全性复合误差难以修正系统构建与维护成本高任务多且散导致低效从系统架构的变化趋势上看，自动驾驶系统模块是在不断融合的。p模块化自动驾驶的核心在于不同子模型在各个模块中的嵌套与协同工作。然而，随着Transformer架构等先进AI技术的发展，模型间的界限正逐渐变得模糊。原本独立的子任务模型正逐步被更大规模的神经网络模型所取代，特别是在感知模块，BEV结合Transformer方案的广泛应用预示着数据驱动的深度学习神经网络正日趋成熟。p从架构的角度来看，随着模型融合的趋势，自动驾驶系统的终极形态很可能是One Model，即一个狭义上的端到端神经网络模型。目标检测目标跟踪后融合预测决策规划控制地图定位多传感器融合预测地图定位决策规划控制通用感知网络预测规划网络控制端到端全栈神经网络Rule-Based更多的工程适量的数据Learning-Based更少的工程更多的数据BEV+Transformer极大推动自动驾驶通用感知网络的发展速度预测、决策模块也正在神经网络化的进程中图：自动驾驶系统模块的融合趋势端到端路线为自动驾驶进一步突破提供了一种可能性。p随着感知、预测和决策等关键模块逐渐实现神经网络化，端到端自动驾驶的路径已经清晰可见，为自动驾驶技术向L4级别无人驾驶的迈进提供了广阔的想象空间。p端到端自动驾驶神经网络的实现将带来一系列优势：它将完全基于数据驱动进行全局任务优化，拥有更简洁的系统架构，更高的计算效率以及更强的泛化能力。然而，它也面临着对算力和数据的巨大需求，以及尚未解决的黑盒问题和幻觉问题，这些问题需要随着技术的进步而逐步克服。传感器获取的原始数据感知决策控制预测End-to-End端到端自动驾驶模型直接输出车辆驾驶动作更强的泛化性完全由数据驱动避免累计误差参数过大，算力不足不可解释与安全性大模型的幻觉问题具备零样本学习能力，在未知场景仍可正确决策由数据驱动的方式来解决自动驾驶长尾问题更好、更快的纠错能力避免上游模块错误的过度传导更好的计算效率模型集成统一，减少模块间的信息延迟和冗余，提升计算效率渗透信息的无损传递基于统一的神经网络，端到端的核心是信息的无损传递。p自动驾驶领域尚未就“端到端”概念达成统一认识。一般而言，端到端自动驾驶指的是从原始传感器数据输入直接到控制指令输出的连续学习与决策过程，过程中不涉及任何显式的中间表示或人为设计的模块。p尽管端到端自动驾驶的具体定义仍存在一定的模糊性，但其核心理念是避免信息在传递过程中的损耗。模块化架构端到端自动驾驶：统一的神经网络架构，一步到位输出车辆指令端到端架构周边环境传感器感知/定位预测规划控制执行器车辆状态周边环境传感器端到端大模型执行器车辆状态融合趋势下，“端到端”从感知走向决策，再走向联合一体化。p特斯拉FSD V12的卓越性能令业界观察家印象深刻，它确实摒弃了之前FSD方案中多年积累的代码，但其端到端方案的成功也离不开其在过去十年在人工智能和智能驾驶领域的深厚积累。p端到端自动驾驶技术的发展遵循着渐进的路径：目前，BEV+OCC+Transformer已经实现了感知模块的端到端架构，决策模块也在逐步从依赖手写规则向基于深度学习的模式转变，最终目标是实现模块化联合与单一模型的端到端自动驾驶。图：端到端自动驾驶系统架构演进BEV感知Rule-BasedPlanner“端到端”感知（现有主流架构）人为定义接口BEV+Transformer推动感知方案性能提升决策规划模块仍然基于规则BEV感知AI Planner决策规划模型化人为定义接口仍然保留两个模块独立训练，而预测与决策规划模块神经网络化通过人工定义的方式制定接口BEV FeaturePlanning Former模块化联合端到端隐式表达特征模块间以特征向量为输出与输出两个模块通过梯度传导的方式同时训练端到端自动驾驶大模型One Model端到端（生成式AI大模型）没有模块间的明确划分，是单一模型基于RL或IL等深度学习方式进行模型训练Rule-BasedLearning-Based瞄准“全局最优”，端到端路线的提出有望有效缓解模块化架构的弊端。p模块化自动驾驶系统面临信息丢失、计算效率低、累积误差以及维护成本等问题，这些问题难以回避，需要新的思路去解决。p端到端自动驾驶通过将传感器收集到的全面信息作为输入，在单一网络中直接生成车辆的控制指令或运动规划。这种设计使得整个系统针对最终目标进行优化，而非仅仅针对某个独立的子任务，从而实现自动驾驶性能的全局最优化。p随着高质量数据的不断积累和模型的持续优化，端到端架构有望展现出比传统模块化架构更优越的自动驾驶性能。1数据驱动不仅感知模块，决策规划与控制模块也由数据驱动，实现全栈数据驱动无需或仅需少量人工编码、手写规则，简化开发流程提升数据规模与质量能够显著提升产品性能，不断提升系统的能力上限2全局最优端到端是一体化架构，为汽车行驶的全局任务为统一目标联合训练避免模块化的单独优化不需要通过频繁的patch和参数调整修正3消除误差一体化的模型结构能够减少信息传递的延迟，加快系统反应消除各模块之间信息传递的误差累积，全栈神经网络的上下层之间可以做到全量信息传递PerformanceTime模块化端到端图：端到端自动驾驶的特点与优势模仿学习与强化学习是端到端自动驾驶的主要训练方法。p模仿学习（Imitation Learning）和强化学习（Reinforcement Learning）是当前用于训练端到端神经网络的两种主要方法。p模仿学习主要通过逆最优控制（Inverse Optimal Control）和行为克隆（Behavior Cloning）来实现，其核心理念是让智能体通过模仿专家的行为来学习最优策略。而强化学习则是一种通过试错来学习的领域，其中奖励函数的设计是一个关键挑战。学习方法具体方法定义特点优势劣势当前发展阶段模仿学习（IL）行为克隆(BC)通过监督学习模仿专家行为简单直接，易于实现实现简单，计算效率高无法捕捉专家决策复杂性，对数据分布偏移敏感广泛应用，但面临泛化和鲁棒性挑战模仿学习（IL）逆最优控制(IOC)通过专家演示学习奖励函数尝试解释专家行为背后的意图可能更好地理解任务结构学习奖励函数困难，需要大量专家数据主要用于研究，实际应用较少强化学习（RL）强化学习(RL)通过试错学习最优策略能够处理高维输入和连续动作空间理论上能学习更优策略需要大量数据和计算资源，训练不稳定在模拟环境中有进展，真实应用挑战大others策略蒸馏(Policy Distillation)训练辅助网络来指导主网络学习利用辅助网络的知识来提升主网络性能可以提高学习效率和策略性能需要设计合适的辅助网络和训练策略研究阶段，探索如何有效传递知识others模型预测控制(MPC)利用模型预测未来状态来进行控制决策考虑未来状态，可以优化长期行为能够考虑未来预测，提高策略鲁棒性计算成本高，需要精确模型研究和特定应用中使用，需要进一步优化行为克隆逆最优控制强化学习图：端到端自动驾驶背后的基本训练方法各类基础模型有望为自动驾驶带来新维度上的能力。p大型语言模型、视觉模型（如世界模型）、以及多模态大型模型等基础模型展现出了强大的能力，并且这些能力正在自动驾驶技术的融合应用中正在被积极开发。p这些基础模型通过预训练获得了推理能力和丰富的知识，能够升级传统的基于规则的if-else系统。出色的泛化能力能够应对自动驾驶技术发展中的挑战，提升在感知、预测、规划等关键领域的性能，升级自动驾驶仿真和测试环节的技术手段。大语言模型（LLM）推理和规划：LLM利用其在逻辑推理、代码生成和翻译方面的专长，为自动驾驶的路径规划和决策制定提供支持；用户交互：通过理解自然语言并执行用户指令，LLM使智能驾驶系统更加用户友好，实现个性化体验；常识性驾驶知识：LLM的预训练能力使其能够理解和应用驾驶常识，可能替代传统的基于规则的系统。大模型之于自动驾驶汽车路径规划大语言模型大视觉模型多模态大模型路径预测仿真与测试人机交互/个性化环境感知视频生成/世界模型感知决策一体化视觉理解与推理ChatGPT、LLaMA等GAIA、SORA等GPT-4 Vision、LLaVA等大视觉模型（VFM）目标检测和跟踪：VFM在3D物体检测和分割方面的能力，对于自动驾驶的感知系统升级至关重要；仿真和测试：VFM的视频生成能力，为创建逼真的驾驶场景提供了支持，这对于自动驾驶系统的安全性和可靠性提升有极大潜力。多模态大模型（MFM）视觉理解与空间推理：MFM结合了视觉和语言信息，展现出卓越的视觉理解和空间推理能力，对自动驾驶系统的决策过程至关重要；综合感知与预测：MFM通过整合视觉和语言数据，提高了对环境的感知精度和对其他交通参与者行为的预测准确性。目 录Part 01发展背景：汽车智能化正加速普及P02Part 02创新思路：端到端自动驾驶的价值P09Part 03厂商实践：技术路线的选择与践行P18Part 04未来展望：端到端的挑战与未来式P26端到端自动驾驶部分厂商p端到端自动驾驶正迅速成为自动驾驶行业的新焦点，吸引了多种类型的参与者投身于这一路线，涵盖了车企、人工智能企业、自动驾驶技术公司、机器人公司以及自动驾驶芯片制造商。p随着对“端到端”理念的共识逐步建立，预计将有更多的企业加入这一行列，各自发挥专长，共同推动端到端自动驾驶技术的繁荣发展。模块化联合端到端一体化端到端模型车企/新势力人工智能公司/自动驾驶解决方案供应商图：端到端自动驾驶行业代表玩家（不完全整理）端到端玩家简析-特斯拉p特斯拉无疑是电动汽车和自动驾驶行业的领军者，它已于2024年1月向北美用户正式推送FSD V12，成为首家在量产车型上实现端到端自动驾驶落地的公司。pFSD V12在复杂场景下展现了卓越的泛化能力，且其驾驶风格不再局限于传统的规则遵循，而是变得更加灵活，类似于经验丰富的驾驶员，能够根据实际情况做出适应性调整。p特斯拉在端到端自动驾驶算法领域的领先地位，得益于在FSD真实里程积累和超大规模算力投入方面的深厚基础，这也是特斯拉最大的竞争优势。图1：特斯拉算力储备将在2024年10月达到100EFLOPS*相当于30万块Nvidia A100算力总和，为端到端自动驾驶模型训练提供充沛算力。图2：特斯拉FSD已经累计开了10亿英里*该数据仍然在持续、快速上涨，赋能FSD的迭代更新。端到端玩家简析-Wayvep成立于2017年的Wayve，是一家位于英国伦敦的自动驾驶技术公司，以其创新的端到端机器学习技术而著称，专注于开发具有高度适应性和可扩展性的端到端自动驾驶系统。pWayve在端到端自动驾驶技术领域取得了显著进展，先后推出了大型语言模型LINGO-1/2，视觉生成模型GAIA-1，以及专为高级自动驾驶仿真训练和测试而设计的PRISM-1。VLAM模型视频生成模型4D场景重建模型/合成数据仅依靠纯视觉信息，即可进行精确的4D 场景重建（空间+时间），用于自动驾驶的模拟仿真测试图：将世界模型融入自动驾驶，Wayve加速端到端一体化模型的研发迭代速度Wayve LINGO-2架构Video inputTextLearned queriesDriving ActionText端到端玩家简析-元戎启行p元戎启行于2024年北京车展上隆重推出了其即将量产的高端智能驾驶平台DeepRoute IO，该平台采用了端到端自动驾驶模型，标志着元戎启行成为国内首批将端到端大型模型成功应用于量产车辆的人工智能企业。pCEO周光曾表示：“DeepRoute IO平台不依赖高精度地图，应用端到端模型，具有极佳的综合性能以及更强的长尾场景处理能力。目前，IO平台已在城市线级不同的多个城市进行泛化测试，这些等级不同的城市人口均超千万，道路情况极具代表性。IO平台推向消费者市场后，所到之处都能开，任何场景都好开。”Rule-Based更多的工程适量的数据Learning-Based更少的工程更多的数据图：元戎启行的端到端融合演进路线目标检测目标跟踪后融合预测决策规划控制地图定位多传感器融合预测地图定位决策规划控制通用感知网络预测规划网络控制端到端模型开展道路测试n2017n2022n2023.8元戎的DeepRoute IO方案，无需开发、训练多个模型，将感知、预测、规划等全打通端到端模型实现输入图像后，直接输出控制动作Mapfree全域点到点更擅长处理复杂路况信息处理无减损驾驶行为更加“人性化”UniAD:Planning-oriented Autonomous Driving，端到端玩家简析-商汤绝影p商汤科技及其联合实验室提出了行业内首个感知与决策一体化的自动驾驶通用模型UniAD，该模型荣获了2023年CVPR的最佳论文奖。进一步地，在2024年，商汤科技推出了适用于实车部署、面向量产的真正端到端自动驾驶解决方案UniAD。pUniAD模型将感知、决策、规划等关键模块整合到一个全栈的Transformer端到端模型中，通过联合训练保留了各个模块的特性。它实现了感知与决策的一体化，同时保持了模块化系统的优势，便于进行问题的回溯和分析。UniAD的联合训练实现方法摄像头激光雷达毫米波雷达超声波雷达高精地图感知模块Learning-Based决策规划Rule-Based基于规则的网络UniAD端到端解决方案演进路径摄像头激光雷达毫米波雷达超声波雷达高精地图感知模块Learning-Based决策规划Learning-Based两段式端到端网络摄像头激光雷达毫米波雷达超声波雷达SD地图统一的感知决策规划模型Learning-Based，联合训练真端到端UniADUniAD包括四个基于Transformer解码器的感知、预测模块和一个规划器并不限于特定的Transformer解码器，可以加入其他的替代方案进行感知与BEV特征提取查询Q起到连接管道的作用，方便联合训练与交互建模将各个任务进行层级式的结合，并对不同任务间的信息进行了充分的交互通过端到端联合训练避免了多任务训练的融合难题，实现全局最优，同时保留了分模块系统的优势，可以抛出中间模块的结果进行白盒化分析端到端玩家简析-小鹏p在2024年的520 AI Day上，小鹏汽车发布了其端到端大模型，该模型由三个关键组成部分构成：XNet感知神经网络、XPlanner规划控制大模型以及XBrain大语言模型。p小鹏计划让其端到端智能驾驶大模型实现“每2天迭代一次”的快速更新周期。按照这一规划，预计在未来18个月内，小鹏的XNGP系统的能力将实现30倍的提升（接管率指标）。感知规划控制升级图：小鹏发布端到端大模型，面向旗下量产车型XNet深度视觉感知神经网络，是自动驾驶汽车的“眼睛”聚合了动态XNet、静态XNet和纯视觉2K占用网络感知范围提升2倍，面积可达1.8个足球场大小，能精准识别50+个目标物，让用户如同拥有鹰眼视觉基于神经网络的规划大模型，是自动驾驶汽车的“小脑”拥有“老司机般的脚法”，前后顿挫减少50%、违停卡死减少40%、安全接管减少60%让用户舒适性、安全性体验大幅提升XPlannerAI大语言模型，是自动驾驶汽车的“大脑”具备理解学习能力，泛化能力提升，可处理复杂甚至未知场景系统能够认识待转区、潮汐车道、特殊车道、路牌文字，秒懂各种令行禁止、快慢缓急的行为指令，进而做出兼顾安全、性能的拟人驾驶决策XPlanner端到端玩家简析-华为乾崑p华为在2024年4月推出了新品牌乾崑及其新一代智能驾驶解决方案ADS 3.0，该方案以GOD网络和PDP网络为核心，实现了端到端的智能驾驶。pGOD大网络具备识别白名单和异形障碍物的能力，同时能够感知道路结构和场景语义，从而更全面地理解驾驶环境。而PDP预测决策与规划网络的加入，显著提升了方案的通行效率，使得复杂路口的通过率达到96%以上。通过快速的更新迭代，ADS 3.0将能帮助车主实现“越开越好开”和“行驶更类人”的目标。华为乾崑ADS3.0架构预决策规划一张网运动控制相较于ADS 2.0，ADS 3.0在感知部分采用GOD大感知网络，决策规划部分采用PDP网络，完成了决策规划模块的神经网络化；ADS 3.0可实现车位到车位的NCA领航辅助功能，实现从公开道路到园区道路再到地下车位全场景贯通；云端训练，快速迭代：学习训练算力达3.5E FLOPS，每天学习里程3000万+公里，5天一次模型更新速度。类别ADS 1.0ADS 2.0ADS 3.0发布时间2021年4月2023年4月2024年4月软件架构BEVBEV+GOD网络GOD网络+PDP网络核心功能NCA领航辅助（上海、广州、深圳等）NCA领航辅助（全国高速、城区）NCA领航辅助（全国高速、城区，实现点到点）搭载车型极狐阿尔法S、阿维塔11问界M5/M7/M9，阿维塔11/12，智界S7享界S9（预计），后续有更多品牌与车型加入华为历代ADS智驾方案特性目 录Part 01发展背景：汽车智能化正加速普及P02Part 02创新思路：端到端自动驾驶的价值P09Part 03厂商实践：技术路线的选择与践行P18Part 04未来展望：端到端的挑战与未来式P26算力、数据与可解释性，是端到端模型上车的主要挑战。p尽管端到端架构相较于传统的模块化自动驾驶展现出了诸多优势，并且吸引了众多汽车制造商、科技公司以及其他自动驾驶领域的企业参与，端到端自动驾驶在落地和商业化方面仍然面临诸多挑战。p构建所需的强大算力、获取用于模型训练的高质量海量数据，以及端到端大模型的“不透明性”和“解释性不足”，都是制约产品性能提升和安全保障的关键问题，需要行业各方共同努力，携手解决。2弱解释性问题3优质大规模数据1巨额投入成本与大语言模型刚问世时类似，端到端的训练方式让模型不可避免地存在不可解释性自动驾驶的“失效成本”很高，强调安全底线，需要设置额外的完全边界做冗余大模型需要大数据，本质上来讲，端到端自动驾驶是海量驾驶视频片段的学习（压缩与升华）需要极大规模的高质量数据，采集、清洗、筛选都是难点大模型需要大算力，需要厂商不断提升GPU的采购规模，这意味着端到端模型的训练成本非常高昂AI厂商均在算力层面的投入，但国内GPU的限制仍是挑战4技术路线不确定5缺乏验证方法6团队组织变革7系统的安全性保障算力储备需要大量投入，这是国内厂商追上特斯拉需要翻越的壁垒。p端到端自动驾驶大模型本质上是从大量的优质驾驶视频片段中提取和压缩驾驶知识与习惯的过程，这与ChatGPT等生成式大语言模型类似，都需要强大的算力和海量数据来支撑模型的训练。p近年来，国内主流汽车企业和新兴造车势力都在加快算力储备的建设，以满足自动驾驶模型的训练需求。与特斯拉相比，当前国内厂商的算力水平还有明显差距。在美国GPU出口限制的背景下，要达到国际一流的算力储备，国内还有很长的路要走。厂商类型厂商名称智算中心建设算力水平车企特斯拉Dojo智算中心100000 PFLOPS长安长安智算中心1420 PFLOPS吉利星睿智算中心810 PFLOPS理想理想智算中心1200 PFLOPS小鹏“扶摇”智算中心600 PFLOPS蔚来蔚来智算中心-科技公司/供应商商汤绝影商汤智算中心12000 PFLOPS华为车BU云智算中心3500 PFLOPS毫末智行“雪湖绿洲”智算中心670 PFLOPS消费者软件付费意识仍未形成，自动驾驶商业闭环还未跑通。p在汽车行业日益激烈的“内卷”竞争中，消费者在购车时面临一种内在的矛盾现象：尽管对汽车的“智能化”和自动驾驶功能的兴趣与期望在上升，但他们的支付意愿和金额却普遍呈现下降趋势。pAI在一定程度上确实重新定义了汽车，但似乎并未为乘用车行业的商业模式带来预期中的新增市场：订阅服务模式尚未实现规模化普及，自动驾驶功能反而成为汽车制造商为了改善驾驶体验和提升产品品质而不得不承担的“硬成本”。75%60%76%76%64%77%高速NOA城区NOA自动泊车20222023图：消费者对自动驾驶功能的兴趣有所提升，但额外付费的意愿下降明显44%42%45%46%36%28%44%43%全国范围一线城市二线城市三线城市20222023-2%-10%+2%-8%+25%-1%-18%-8%-10%-21%-11%一次性购买选装包按年订阅按月订阅百公里费用高速公路/城市高架城区道路自动泊车图：相比前一年，消费者愿意为自动驾驶功能付费的金额有所下降（2023 vs 2022）诸多优势不足以确保端到端模型能成为自动驾驶终局方案。p目前，自动驾驶领域对于“端到端”这一概念的理解尚未统一，技术路线和系统架构方面存在不同的观点，比如模块化联合端到端、One Model端到端、以及基于LLM/世界模型的端到端等方法。p端到端的自动驾驶路线仍处于发展初期，除了特斯拉之外，还未有其他厂商能够实现端到端自动驾驶的量产。各个厂商所采用的技术路线尚未经过市场的充分验证，行业内也缺乏可供借鉴的成功实践案例。29%50%21%2年内2-5年5年以上端到端自动驾驶落地时间预测46%4%50%是终局方案是过渡方案众多方案之一端到端是否是自动驾驶技术终局25%46%29%头部公司保持优势可能产生新巨头不确定端到端对行业带来的影响图：业内专家对端到端路线持有信心，但对其未来的发展方向仍然有分歧大模型只是通往AGI的路径之一需要兜底机制以确保汽车行驶安全概率模型不代表类人的思维能力端到端或是自动驾驶终局的组成部分