高度集成化的汽车智能座舱工程应用.pdf

第 61 卷 第 8 期Vol.61 No.82023 年 8 月August 2023农业装备与车辆工程AGRICULTURAL EQUIPMENT&VEHICLE ENGINEERING0 引言随着汽车技术日益发展，汽车越来越智能化及自动化，更多智能化功能被应用于汽车技术，智能座舱和智能驾驶功能已普及到新车型1。传统汽车实现了出行方便，解决用户通勤目的，车辆智能化的应用功能还未在传统汽车上大规模落地应用2。2022 年 3 月，第十三届全国人大五次会议政府报告在“坚定实施扩大内需战略”中提出“继续支持新能源汽车消费”，新能源汽车就是汽车新四化的典型代表3。中国汽车蓝皮书论坛组委会主席在第七届中国汽车蓝皮书论坛上率先提出汽车新四化概念：智能化、电动化、网联化和共享化4。陈婉5认为电动化是代表能源革命，网联化是代表互联革命，智能化是目标，共享化则带来了消费的变更。1 汽车座舱汽车的智能座舱相比传统座舱功能在显示和设置等方面有较大提升，座舱功能对比如表1所示。表 1 座舱功能Tab.1 Cockpit function功能传统座舱智能座舱地图导航有有收音机有有车辆设置有有doi:10.3969/j.issn.1673-3142.2023.08.013高度集成化的汽车智能座舱工程应用陈思宇1，黄菊花1，刘引引1，弓骞2（1.330008江西省南昌市南昌大学先进制造学院；2.100000北京市北京旷视科技有限公司）摘要 针对汽车智能座舱进行了工程应用研究，基于汽车电子电气架构的演进和芯片平台计算能力提升，提出了一种高度集成化的汽车智能座舱工程架构应用方法，包括系统架构、架构框架和算法架构等部分。高度集成化的汽车智能座舱不仅能实现传统座舱中的基础功能，而且集成更多未来智能座舱的应用功能，包括汽车座舱内的驾驶员状态监测、驾驶员身份认证、乘客状态监测及汽车座舱外的全景影像和倒车影像功能，并可减少汽车的控制器数量，降低整车零部件成本。通过搭建工程开发板进行功能验证，表明设计的高度集成化汽车智能座舱工程方法可实现，为未来汽车智能座舱高度集成化的设计提供理论依据。关键词 智能座舱；集成化设计；工程架构；工程应用 中图分类号 U462 文献标志码 A 文章编号 1673-3142(2023)08-0062-05引用格式：陈思宇,黄菊花,刘引引,等.高度集成化的汽车智能座舱工程应用 J.农业装备与车辆工程,2023,61(8):62-66.Highly integrated automobile intelligent cockpit engineering applicationsCHENSiyu1,HUANGJuhua1,LIUYinyin1,GONGQian2(1.SchoolofAdvancedManufacturing,NanchangUniversity,Nanchang330008,Jiangsu,China;2.BeijingKuangshiTechnologyCo.,Ltd.,Beijing100000,China)AbstractTheengineeringapplicationofautomobileintelligentcockpitwasstudied.Basedontheevolutionofautomobileelectricalarchitectureandchipplatformsupport,ahighlyintegratedengineeringapplicationmethodforautomobileintelligentcockpitsincludingsystemarchitecture,architectureframeworkandalgorithmarchitecturewasresearchedandproposed.Thehighlyintegratedautomobileintelligentcockpitcouldnotonlyrealizethebasicfunctionsinthetraditionalautomobilecockpit,butalsoachievemoreapplicationfunctionsintegrationofthefutureautomobileintelligentcockpit,whichinvolveddrivermonitoringsystem,driveridentityauthentication,occupantmonitoringsysteminsidethecarcabin,aroundviewmonitorandrearvehiclecontroloutsidethecarcockpits.Inaddition,thenumberofvehiclecontrollersandthecostofthewholevehiclepartscouldbereduced.Bybuildingtheengineeringdevelopmentboardforfunctionalverification,thehighlyintegratedengineeringmethodoftheautomobileintelligentcockpitdesignedinthispaperwasprovedtoberealized,whichprovidedatheoreticalbasisforthehighlyintegrateddesignoffutureautomobileintelligentcockpits.Key wordsintelligentcockpit;integrateddesign;engineeringarchitecture;engineeringapplication收稿日期：2022-06-0663第 61 卷第 8 期功能传统座舱智能座舱WiFi有有全景影像无有倒车影像无有驾驶员检测无有乘客检测无有1.1 汽车座舱现状汽车从机械时代跨越到电子时代初期，也仅仅是在人机交互中提升驾乘人员体感，并未发生质的变化，而且信息来源渠道增多，在处理方面给驾乘人员增加困难。汽车人机交互设计（HumanVehicleInteraction，HVI）是人机交互在汽车领域中的应用，而汽车座舱在汽车人机交互设计中最重要，汽车上很大部分车辆信息显示和设置都在汽车座舱中实现6。现阶段汽车座舱研究成果多集中在人机交互领域，如 Castellano 等7提出数据结构可视化优化基于有限屏幕空间显示；Peer 等8将二次分配模型理论用于汽车界面信息层级设计；闫云豪等9针对智能驾驶工况下汽车座舱中的人机交互界面进行优化布局；谭浩等10研究汽车人机交互的相关因素对驾驶影响指标量化，提出多通道人机交互模式，而未阐述汽车座舱相关的工程应用方法。1.2 汽车座舱趋势人类的两大空间分别是生活空间和办公空间，各大汽车厂商和科技公司都致力于将汽车的座舱打造为人类的第三空间，将原本汽车的传统座舱赋予更多科技、娱乐、人文等内涵，如表 2 座舱趋势中的代表车型11。表 2 座舱趋势Tab.2 Cockpit trends功能理想 L9小鹏 P5蔚来 ET7多屏联动支持五屏支持两屏支持两屏高度集成支持支持支持第三空间支持支持支持理想 L9 车型智能座舱是行业首个五屏联动高科技技术应用落地，图 1 中的五屏联动实现了中控显示屏、副驾显示屏、后排娱乐显示屏、抬头显示屏、方向盘安全显示屏联动功能12。目前国内外少有公开的针对汽车座舱高度集成化工程应用的研究成果，也未形成可参考借鉴的理论知识体系。虽然国内学者付朝辉等13针对汽车功能架构提出应该在系统层建立以功能架构为基础的建模方法，但也未曾涉及汽车智能座舱方面相关的功能架构研究。本文在汽车电子电气架构的演进和汽车座舱芯片平台的发展基础上，提出一种高度集成化的汽车智能座舱工程应用设计方法，对相关科研和工程人员提供可行性方案借鉴参考。2 架构演进传统汽车的电子电气架构基于分布式方法研发，需要集成较多数量的汽车控制器用于实现特定功能14。汽车座舱通过仪表显示屏控制器、中控显示屏控制器、后排显示屏控制器、驾驶员状态监测控制器和乘客状态监测控制器等零部件实现座舱功能。随着汽车控制器计算能力提升，未来智能汽车的电子电气架构将采用域集中式架构。智能汽车的域集中式电子电气架构按汽车功能域进行划分，各个功能域由强大的车载计算控制器构成15。按智能汽车应用功能划分域的方法，汽车娱乐（座舱）域控制器能实现传统汽车的电子电气架构中多个控制器的功能，不仅能实现汽车座舱中的基础功能显示和设置，而且为智能座舱第三空间实现提供更多的可能性。汽车电子电气架构演进如图 2 所示，高度集成化的汽车智能座舱基于域集中式电子电气架构进行研发，娱乐（座舱）域控制器可实现智能座舱中的人脸认证、驾驶员状态监测、乘客状态监测及全景影像功能等智能化应用。3 芯片性能高度集成化汽车智能座舱的实现离不开汽车芯片的高计算能力支撑，美国高通公司的智能座舱芯片在汽车领域占据 90%以上的市场份额。各厂商汽车座舱芯片的主要性能指标如表 3 所示，其中高通公司的汽车座舱芯片在制程工艺、CPU 和GPU 算力等指标都有明显的优势16。（续表）1.中控显示屏2.副驾显示屏3.后排娱乐显示屏4.抬头显示屏5.方向盘安全显示屏图 1 理想 L9 座舱五屏Fig.1 LIXIANG L9 five screens14523陈思宇等：高度集成化的汽车智能座舱工程应用64农业装备与车辆工程 2023 年表 3 汽车座舱芯片性能指标Tab.3 Cockpit SoC performance厂商高通 SA8155 三星 V910瑞萨 H3 意法 J7制程工艺/nm781628CPU 算力961114024GPU 算力11421205288166.44 工程架构工程架构是实现高度集成化汽车智能座舱的核心，贯穿于整个汽车智能座舱工程应用开发中，是实现传统汽车座舱之外智能化应用功能的基础。高度集成化的汽车智能座舱工程架构由系统架构、架构框架和算法架构 3 部分组成。全景影像 AVM 通过 4 个环视摄像头拼接完成车辆周围 360影像显示，倒车影像 RVC 通过1 个后视摄像头将车辆后视环境呈现。全景影像AVM 包括倒车影像 RVC 功能，通常汽车的高配车型装配 AVM 功能，低配车型装配 RVC 功能17。人脸认证 Face.ID、驾驶员状态监测 DMS、乘客状态监测 OMS 功能通过汽车座舱车内的视觉监测摄像头对人脸和人体进行检测，再结合相关人工智能算法实现汽车座舱内监测等功能18。4.1 座舱系统架构系统是完成一个或者一组特定功能所需零件的集合，零件是系统的组成部分，包括零件的软件和硬件19。汽车传统座舱通过全景影像 AVM 控制器、驾驶员状态监测 DMS 控制器、乘客状态监测OMS 控制器实现座舱的智能化功能。高度集成化的汽车智能座舱的系统构成如图 3 所示，全景影像AVM 摄像头、驾驶员状态监测 Face.ID 和 DMS 摄像头、乘客状态监测 OMS 摄像头，摄像头感知传感器将图像信息直接传输到座舱主机控制器，实现座舱的智能化功能，可节省3个传统汽车控制器（全景影像AVM控制器、驾驶员状态监测DMS控制器、乘客状态监测OMS控制器），降低整车零部件成本。4.2 座舱架构框架本文设计的高度集成化汽车智能座舱主机硬件采用高通公司的 SA8155 第 3 代座舱芯片实现，QNX 操作系统环境负责功能软件运行，保证软件运行实时的安全性，Android 操作系统环境负责汽车座舱中的人机交互显示与设置。如图 4 功能框架，实现高度集成化的汽车智能座舱功能中的全景影像（AVM）、倒车影像（RVC）、人脸认证（Face.ID）、驾驶员状态监测（DMS）和乘客状态监测（OMS）功能以软件开发工具包 SDK（SoftwareDevelopmentKit）软件形式集成在 QNXHostDomain 操作系统环境中运行。图 2 电气架构演进Fig.2 Electrical architecture evolution中央网关（分布式电子电气架构）VCU 控制器ESC 控制器EPS 控制器EPB控制器DVR控制器ADAS控制器AVM控制器仪表屏控制器MCU 控制器中控屏控制器BMS 控制器后排屏控制器ACC 控制器OMS 控制器DMS 控制器T-Box 控制器整车底盘/智驾娱乐中央网关（域集中式电子电气架构）仪表功能整车控制电机控制电池管理空调管理人脸认证功能驾驶员状态检测乘客状态检测全景影像功能中控屏功能后排屏功能副驾屏功能高度智能化一机多屏云娱乐域控制器自适应巡航自动泊车记忆泊车代客泊车紧急记录自动制动车道保持安全控车智驾域控制器 整车域控制器图 3 座舱系统构成Fig.3 Cockpit system composition网关仪表显示屏中控显示屏CAN-LCAN-HLVDSLVDSLVDSLVDSLVDSLVDS LVDS LVDSAVM 摄像头座舱主机QNXAndroidHypervisorSoCFace.ID&DMS摄像头OMS 摄像头图 4 功能框架Fig.4 Function architectureQNXHostDomainAndroidHostDomainEarlyBootService舱内舱外Face.ID&DMS&OMSServicesFace.IDSDKOMSSDKAVMSDKUIFramework&EngineQNZBSPClusterHMIHAVCAVMAPPRVCAPPDMSAPPOMSAPP3rdAPP3rdSDKOpenSDKAndroidFrameworkAndroidHALAndroidBSPHypervisorVirtualizationQNXBSPSoCHWSA8155FACE.IDAPPRVCSDKDMSSDKAVM&RVCServicesAccountProcessEarlyOthersProcess65第 61 卷第 8 期4.3 座舱算法架构算法架构是工程架构的重要组成部分之一，由算法模型原子组成并通过业务逻辑和业务服务软件，实现某些特定的功能作用。汽车智能座舱的舱外智能化应用功能全景影像 AVM 如图 5 的 AVM算法架构构成实现，核心算法是由全景视图拼接、视频图像处理和环视摄像头标定模块构成，业务逻辑实现系统功能，业务服务实现开关控制设置项功能，从而通过核心算法、业务逻辑和业务服务的算法架构模块组成实现 AVM 功能。汽车智能座舱的舱内智能化功能实现如图 6图 8 的 Face.ID 人脸认证、DMS 驾驶员状态监测和乘客状态监测 OMS 功能的算法架构，由人脸检测三件套（Face-Det）算法、人脸姿态（Face-PB）算法、遮挡眼睛（OCC-EyeOC）算法、嘴巴（MouthOC）算法、视线（Gaze）算法、危险行为（RC）算法和情绪（Emotion）算法等构成，再通过工程端的业务逻辑和业务服务软件模块共同实现人脸认证、驾驶员状态监测和乘客状态监测功能。5 验证实现本文通过搭建高通的 SA8155 芯片开发板硬件开发环境，验证本文设计的工程架构能实现汽车智能座舱的高度集成化方法。5.1 高通开发板汽车控制器在量产开发前都会将功能软件和算法先在选型好的控制器开发板中进行验证，用于评估工程架构设计的可行性。图 9 是高通 SA8155开发板的硬件接口，1 号端口连接驾驶员状态检测摄像头和乘客状态检测摄像头，2 号端口连接全景影像环视摄像头，3 号端口连接可视化显示屏，4号端口电源供电，5 号端口 USB 用于软件程序离线升级，6 号端口连接网线用于软件程序在线升级，7 号端口连接 GPS 天线。5.2 功能实现验证全景影像 AVM 功能通过在车上安装的前、后、左、右的 4 颗环视摄像头拼接成一张车辆周围360全景图像视频，实现车辆周围 360区域影像监测功能，实现 AVM 功能如图 10 所示。人脸认证 Face.ID 功能通过视觉摄像头对人脸的关键特征点进行识别检测，如图 11Face.ID 功能示意，对拍照的人脸进行关键特征点进行识别检测后与底库中的注册人脸结果比对后，输出人脸查询认证的结果。驾驶员 DMS 和乘客 OMS 功能通过视觉摄像头QNXHypervisor图 5 AVM 算法架构Fig.5 AVM algorithm architecture应用层QNXAndroid系统层QNXRuntime底层核心算法业务逻辑全景视图拼接业务服务IPCClinetIPCDriverUARTDriverDisplayDriverUSBDriverRegService开关控制设置项3D 雷达墙3D 车模OpenGLESSNPEAISServiceVehicleServiceSettingAPPService-JNILaunchAPPNPUMIPICSIMCU/CANGPU设置逻辑异常提醒AISClientVehicleClientIPCService车辅线环视摄像头标定视频图像处理2D+3D视角显示激活与退出账号记忆图 6 Face.ID 算法架构Fig.6 Face.ID algorithm architecture摄像头软件模型封装图像工程检测模块（推图前）人脸检测三件套人脸部分（推图后）客户应用软件客户应用软件摄像头故障底库管理底库对照人脸检测姿态模糊人脸特征提取眼鼻嘴遮挡活体年龄性别人脸特征点检测(粗)活体检测最优人脸判断图像处理基于人脸框裁剪人脸特征点检测(精)图 7 DMS 算法架构Fig.7 DMS algorithm architecture摄像头软件模型封装图像工程处理检测模块 （推图前）工程应用人脸部分（推图后）客户应用软件客户应用软件摄像头故障人脸及人体检测姿态模糊眼鼻嘴遮挡睁闭眼检测张闭嘴检测视线检测情绪检测人脸特征点检测(粗)人脸特征点检测(粗)最优人脸判断图像处理危险行为检测基于人脸框裁剪人脸特征点检测(精)在岗检测 左顾右盼 头部转角 低头检测工程数据库人体坐标数据人脸坐标数据图 8 OMS 算法架构Fig.8 OMS algorithm architecture摄像头软件模型封装图像工程处理检测模块 （推图前）工程应用人脸模块（推图后）客户应用软件客户应用软件摄像头故障图像美颜人脸及人体检测姿态模糊眼鼻嘴遮挡睁闭眼检测手势检测万物检测情绪检测年龄人脸特征点检测(粗)人脸特征点检测(粗)危险行为检测追踪多人推图逻辑跨帧每张脸的人脸框裁剪人脸特征点检测(精)位置检测后排儿童站立检测工程数据库人体坐标数据人脸坐标数据应用图 9 硬件接口Fig.9 Hardware interfaceAVM 摄像头显示屏接口网线接口DMS&OMS 摄像头电源 12VUSB 接口WiFi/GPS 天线陈思宇等：高度集成化的汽车智能座舱工程应用66农业装备与车辆工程 2023 年对人的双眼开合度持续监测，当人的闭眼持续一段时间后会发出疲劳报警，从而实现对驾驶员和乘客的疲劳状态监测功能，DMS 和 OMS 功能如图 12所示。6 结语智能座舱是汽车行业的智能化趋势，高度集成化的座舱架构加速了汽车向智能化阶段的进一步发展，也是未来软件定义汽车的发展方向。基于汽车电子电气架构的演进和座舱芯片性能提升，本文提出的汽车智能座舱工程应用的架构设计方法，从系统架构、架构框架和算法架构等方面阐述高度集成化的汽车智能座舱设计方法，最后通过工程开发板的软硬件验证，实现全景影像AVM、人脸认证 Face.ID、驾驶员和乘客状态检测DMS/OMS 功能。本文设计的高度集成化汽车智能座舱工程方法有积极的现实意义，为后续汽车智能座舱的工程量产打下坚实的理论基础。参考文献1中华人民共和国国家发展和改革委员会,等.关于印发智能汽车创新发展战略的通知 J.科学中国人,2020(9):62-65.2中国公路学报 编辑部.中国汽车工程学术研究综述 2017J.中国公路学报,2017,30(6):1-197.3李克强.政府工作报告2022 年 3 月 5 日在第十三届全国人民代表大会第五次会议上 J.智慧中国,2022(3):8-17.4贾可.中国汽车蓝皮书-第七届中国汽车蓝皮书论坛,中国汽车蓝皮书,2015.5陈婉.汽车“新四化”已不可逆 J,环境经济,2018,(21):12-13.6孙博文,杨建明,孙远波.汽车人机交互界面层级设计研究 J.机械设计,2019,36(02):121-125.7 CASTELLANOG,CIMINOMGCA,FANELLIAM,etal.Amulti-agentsystemforenablingcollaborativesituationawarenessviaposition-basedstigmergyandneuro-fuzzylearningJ.Neurocomputing,2014,135:86-97.8PEERSK,SHARMAKD.Human-computerinteractiondesignwithmulti-goalfacilitieslayoutmodelJ.ComputersandMathematicswithApplications,2008,56(9):2164-2174.9闫云豪,周荣刚,于孟利.智能驾驶汽车界面的布局设计研究J.工业工程,2018,21(01):96-102.10 谭浩,赵江洪,王巍.汽车人机交互界面设计研究 J.汽车工程学报,2012,2(05):315-321.11 罗兰贝格&地平线.智能座舱发展趋势白皮书.EB/OL.https:/ 理想汽车官方网站.EB/OL.https:/ 付朝辉,王华阳.功能架构在电子电气架构开发中的应用和实践 J.汽车工程,2021,43(12):1871-1879.14 呼布钦,秦贵和,刘颖,等.下一代汽车网络:车载以太网技术现状与发展 J.计算机工程与用于,2016,52（24）:29-36.15 STOLZW,KORNHAASR,KRAUSER,etal.Domaincontrolunits-thesolutionforfutureE/EarchitecturesC.SAEPaper.2010-01-0686.16 高通官方网 EB/OL.https:/ 曹立波,夏家豪,廖家才,等.基于 3D 空间球面的车载全景快速生成方法 J.中国公路学报,2020,33(1):153-162+171.18 李磊,严敏,王涛,等.基于 TPB 的疲劳对汽车驾驶员不安全驾驶行为的影响 J.西安科技大学学报,2019,39(06):979-984.19 ComputerDictionary:CompilationofIEEEStandardComputerGlossariesIEEEStd.610-1990S.1990.作者简介 陈思宇（1991-），男，博士研究生,工程师，研究方向：智能汽车、智能座舱、自动驾驶、数据挖掘。E-mail：图 12 DMS 和 OMS 功能Fig.12 DMS&OMS function 图 10 AVM 功能Fig.10 AVM function图 11 Face.ID 功能Fig.11 Face.ID functionFace:0.9992