基于情境感知的智能汽车多模态交互设计研究.pdf

鞋类工艺与设计SHOES TECHNOLOGY AND DESIGN2024 年 2 月第 4 卷 第 3 期Feb.2024Vol.4 No.3153基于情境感知的智能汽车多模态交互设计研究李嘉节（首都师范大学，北京 100048）摘要：以情境感知为理论出发点，以智能汽车为对象，通过对智能汽车情境感知与多模态交互形式进行研究，得出智能汽车情境感知应用趋势与多模态交互设计应用思路。目前，智能汽车的情境感知的 3 个维度：外部环境、用户表现、使用模式感知应用情况；智能汽车的多模态交互设计思路：多模态信息输出拓展情境展示、多通道融合交互优化情境操作、多模态主动交互触达用户心理，为未来智能汽车的情景感知与交互体验升级作出贡献。关键词：情境感知；智能汽车；多模态交互设计中图分类号TP399文献标识码A DOI:10.3969/j.issn.2096-3793.2024-03-051Research on Multimodal Interaction Design for Intelligent Vehicles based on Context AwarenessLI Jiajie(Capital Normal University,Beijing 100048,China)Abstract:Taking context awareness as the theoretical starting point and intelligent cars as the object,the study of context awareness and multimodal interaction forms of intelligent cars has led to the application trend of context awareness and multimodal interaction design and application ideas of intelligent cars.The analysis has drawn three dimensions of the current intelligent vehicles situation perception:external environment,user performance,and usage mode perception application;and the multimodal interaction design ideas of the intelligent vehicle in three aspects have been derived:multimodal information output to expand the situation display,multichannel fusion interaction to optimize the situation operation,and multimodal active interaction to reach the users psychology.It makes inspiration and a little theoretical contribution to the upgrading of scenario perception and interaction experience of intelligent vehicles in the future.Key words:context-awareness;intelligent vehicles;multimodal interaction design引 言随着科学技术的高速发展，汽车智能化程度也随之提高。当今的汽车已经开始搭载先进的感知设备，通过运用人工智能、云计算等新技术，甚至已经可以做到自动驾驶，智能汽车的概念也随之而来1。如今的汽车除了是可以代步的交通工具之外，还是集多功能于一体的智能化移动空间2，逐步作为能够主动进行信息感知、作出判断并可进行丰富交互的智能空间。基于情境感知下的交互可以针对不同情境下对用户以及客观环境进行深入理解，智能判断不同情境下的交互方式，从而为用户提供更加周到、贴心、安全的用户体验。随着车内集成的功能模块越来越多，逐渐增加的信息内容会带来认知过载、分心等问题，而多模态的交互形式将逐步取代单一的交互形式，使得体验更加多样化。1 情境感知下的多模态交互设计1.1 情境感知情境感知（Context Awareness）理论于 1994 年由施利特提出，指系统主动感知、收集用户周围情境信息变化，根据用户当前任务需要，通过预先建立的规则并计算，在恰当时机提供合适的信息与服务3。恩兹利提出的情境感知模型，将感知按顺序分为感知、理解、预测 3 个阶段4。目前理论应用在智能产品设计等多个方面，通过将复杂的情景信息获取分析，为用户提供最适合的操作判断。例如，陈怀林等将情境感知理论应用在农机管控系统中，综合用户使用习惯和偏好提供个性化服务5；陈熠璇将驾驶过程情境分类分析，提出利于保障用户行车安全与提升用户驾驶体验的设计6；程全将情景感知融入智慧图书馆阅读推荐服务，分六类情境提升用户对阅读的体验7。综作者简介：李嘉节（1999-），男，研究生在读，研究方向：交互设计、品牌设计、海报招贴，.第 4 卷设计论坛鞋 类 工 艺 与 设 计154上情境在不同领域的研究应用需根据具体使用环境进行分析，但可以肯定的是，对情境感知计算后反馈的交互会极大简化用户分析过程，提升决策效率，优化用户体验。1.2 智能汽车国家发改委印发的智能汽车创新发展战略（征求意见稿）中，智能汽车是指通过搭载先进传感器、控制器、执行器 等装置，运用信息通信、互联网、大数据、云计算、人工智能等 新技术，具有部分或完全自动驾驶功能，由单纯交通运输工具逐步向智能移动空间转变的新一代汽车9。1.3 多模态交互设计“模态”（Modality）一词是由德国物理与生理学家赫尔姆霍兹提出的生物学概念，即生物凭借感知器官与经验来接收信息的通道。多模态就是多种通道的结合。在信息传递中，混合使用声音、图像、颜色、动作等不同形式的符号资源，这种多元意义呈现方式被称为多模态9。2 智能汽车的情境感知应用维度情境感知是智能汽车作出分析、决策、执行的基础。目前，情境感知的模式主要分为主动感知与被动感知10，主动感知为设备直接感知到的显性信息，而被动感知则是需要外部事件的触发，如行驶时的突发情况，或是用户偏好等个性化信息。感知过程主要包括对环境元素的感知、对当前状况的理解、对未来的预测。感知能力间接决定了汽车的智能化程度，情境感知能力越强的车辆，其驾驶体验感、安全性和性能会更优。2.1 外部环境的情境感知对外部环境的感知主要包含车辆本身、车辆外部两个方面。车辆内部主要包括汽车本身运行的感知；车辆外部主要包括对外部天气条件、交通状况、行驶路况的感知。目前，智能汽车可对天气条件进行感知后，调试为适合的运行模式。对交通状况的感知目前可通过车、道路基础设施之间的信息交互，获取更准全面的道路信息，通过多模态交互帮助驾驶员预判道路情况。对行驶路况的感知目前体现在：障碍物感知、道路情况感知、跟车感知、自动报警求救等功能。2.2 用户表现的情境感知智能汽车对于用户表现的情境感知主要包括对驾乘人员操作行为、生理体征、情绪状态等方面的感知。对驾乘人员操作行为感知：通过分析驾驶员的驾驶行为和习惯，自动调整车辆的性能和响应，记忆车内环境偏好，如音乐、温度、湿度等指标，以匹配驾驶员的偏好和驾驶风格。对用户生理特征的感知上，部分智能汽车配备的生理指标监测系统，可以感知用户的心跳、血压、心率、血糖等生理参数，以及空气质量等环境参数，为驾乘人员提供健康建议和预警。对用户情绪状态的感知：通过表情和语言感知用户的情绪状态，判断用户是否感到疲劳、紧张、愉快等，并相应地提供疲劳警示、情绪安抚等功能，以提供更加个性化的服务。2.3 使用模式的情境感知考虑到用户多样的使用情境和体验，智能汽车设置了多样的使用模式，并且经过数据标定一些情境指标，一旦达到某种情境指标，便会推荐相应模式。感知可分为行车情境和拓展情境感知两个方面。在行车情境感知中，通过对道路感知推荐城市、高速与山路等模式，提供远程控制功能。用户可以解锁车门、启动发动机，甚至可以跟踪车辆的位置。对拓展情境的感知，可以根据用户在特定情景下的需求，提供一键改变全车各项配置功能的智能整车操控系统，如办公、亲子、宠物与野外露营等模式，提供个性化的使用情境。3 智能汽车情境感知下的多模态交互设计思路3.1 多模态信息输出拓展情境展示3.1.1 车内外多模显示载体近年来，网络互联技术和人工智能与云计算技术的发展，使得智能交通系统的实现成为可能11。在未来，智能汽车情境感知的主体也将由车发展到多个设施之间的协同处理，信息显示不再局限于传统的仪表盘等区域，实体按键趋于减少，座舱多屏化已经成为新趋势。例如，高和 HiPhi Y 汽车的沉浸式智能座舱，可通过副驾屏、后排影音屏等可实现五屏交互。智能汽车展示的载体也不仅限于实体屏幕，以无屏替有屏、无型胜有型的智能表面作为新思路被提出。例如，可利用车窗解锁、查看车辆信息，在天窗上看电影等。同样，车外也可以作为展示区域，现代汽车的车外驾驶状态展示可有效地将汽车状态信息传递给前后方车辆或行人；华为智能车灯的多样化场景解决方案，不仅可提高驾驶员和行人的视野和安全性，车灯还可与环境进行交互，提升行车效率。3.1.2 多维融合沉浸体验AR、VR、全息投影等技术的进步，使得智能汽车的视觉展示更加丰富，车内未来将成为沉浸体验移动座舱。例如，华为 AR-HUD 系统通过 AR 技术，将显示信息贴合实际道路进行增强显示，为驾驶员提供更清晰直观的信息指引。吉利汽车的 AID-全息空中智能显示系统，能够在车内实现无介质的全息影像展示。智能设备公司Arpara 将 VR 与智能汽车融合，将座舱打造成媲美超级IMAX 的虚拟空间，让用户获得更加丰富多元的沉浸体验。3.2 多通道融合交互优化情境操作多通道融合交互是将人的多个感官通道融合与产品或系统产生交互的行为，使得人们可以全方位、立体、综合地感知、操作和体验产品。例如 BWM 的一项研究表明：提供多通道融合交互的方式，可以避免单一通道认知负第 3 期设计论坛李嘉节 基于情境感知的智能汽车多模态交互设计研究155荷过载12。3.2.1 触觉交互触觉交互，即用户通过模拟触觉感知与设备进行交互的方式。在智能汽车中，触觉交互可通过震动反馈、温度反馈、电力反馈等实体触摸方式，使用户更自然地向汽车传递指令或提供反馈。触觉交互的应用形式也多种多样，例如奥迪的 MMI 屏幕触摸响应系统，通过模拟物理按钮的触感与声音给予确认感。例如，通用汽车的震动触觉提醒座椅，通过方向盘震动和安全带收紧来提醒驾驶员注意潜在的危险，还可以通过方向盘反馈模拟不同路面的感觉。3.2.2 语音交互近年来，随着自然语音技术的发展和应用，无疑降低了人机互动的门槛。目前生活中的诸多智能产品广泛配备了语音交互的功能，智能汽车作为承载驾驶员与乘客的智能产品，语音交互的应用使得驾驶员能够不离开路面视线即可交互，乘客的需求也可直接表达解决，提升了驾驶的安全性与用户体验感。长安逸达作为首款搭载百度“文心一言”的量产车型，将这一技术应用于车内语音助手，实现了从音乐、导航到车辆功能的语音控制，使得用户的交互体验更加自然流畅。汽车语音交互的“实体化”也是一个新的亮点。蔚来汽车 NOMI 语音交互系统 AI 实体，能够通过声音、表情、动作进行精微互动。3.2.3 手势交互手势交互作为一种脱离触摸实体设备的自然交互形式，可以在驾驶员与汽车之间建立一种直接自然的互动方式。目前，汽车手势交互也已经成为各大汽车厂商探索的风口。例如，君马 SEEK 提供 8 种手势的精准识别，可实现车内多功能控制；理想 L9 通过 3D ToF 传感器配合融合算法实现手势交互；Wey 摩卡车型支持车外通过手势控制汽车点火、前进、后退和熄火等功能。手势相对于语音交互，目前仍需要解决如何理解手势等诸多问题。3.2.4 嗅觉交互人是感性的动物，感官体验会直接影响情感体验。目前，智能汽车可以根据驾驶场景与用户需求，为用户提供不同的气味。奔驰作为最早推出智能香氛系统的车企，其高端车型搭载多种香氛精油。智己 L7 的智能香氛系统可配合不同的场景智能触发，主动进行间歇送香和记忆功能。在未来，气味交互将更加情境感知紧密结合，比如有婴儿、老人的场景将会释放不同的香味、将环境气味与音乐风格相匹配以带来氛围感，还可通过监测驾驶员状态，以气味实现疲劳驾驶提醒。3.3 多模态主动交互触达用户心理生物识别技术发展，使得智能汽车可以实时监测用户的生理状态与行为，这可以帮助汽车更好地理解用户此时的状态。目前，智能汽车的生物识别技术不断发展，实时疲劳检测、醉酒检测、分心检测、生命体征监测、危险行为检测方面的探索正在不断进行。例如，凯迪拉克Super Cruise 首创的 DMS 驾驶员监测系统，基于人的视觉监控和分析，实时追踪驾驶员面部及视线方向，确保其对驾驶的专注度。智能汽车基于人工智能技术，已经逐步向着“主动感知、智能思考”的方向发展，交互由被动向主动进化，个性化、情感化需求将得到满足。在未来，智能汽车将结合车主行为习惯与情绪表情进行心理感知，不断满足人们的内在情感需求。例如高合汽车与微软小冰联合开发的 HiPhiGo 情感化智能交互系统，不仅全车情感语音交互，而且可根据车主每天的旅程进行即兴创作与创意剪辑，带来如影随形的情感化陪伴。4 结 语情境的感知作为智能汽车的“感官”，通过智能车机系统的“大脑”、多模态的交互形式与司乘人员进行的全方位“交流”，这三者的结合使得智能汽车的交互形式正在发生革命性的进步，本文基于情境感知理论对目前智能汽车座舱的多模态交互设计进行梳理，能够为当前与未来的智能汽车的人机交互设计带来启发，为未来智能汽车的体验升级作出贡献。参考文献：1 强威.基于 Kano-QFD 的新能源汽车移动端交互设计 J.包装工程,2022,43(20):212-219.2 刘雪,石天聪,余政涛.智能网联汽车人机交互界面分析 J.汽车实用技术,2021,46(10):34-36.3 SCHILIT B,ADAMS N，WANT R.Context-aware computing applicationsC/Proc of Workshop on Mobile Computing Systems and Applications.1994:89-1014 左自磊,蒋晓.基于情境感知的移动购物应用设计研究 J.包装工程,2017,38(24):156-159.5 陈怀林,李文欣,杜歆桐等.基于情境感知的智慧农机管控系统交互设计研究 J.包装工程,2023,44(22):123-130.6 陈熠璇.基于情境感知的 AR-HUD 界面设计研究 D.江南大学,2021.7 程全.基于情景感知的智慧图书馆阅读推荐服务模型构建与优化策略 J.图书馆工作与研究,2021,(10):119-128.8 王瑞,董石羽,肖江浩.智能汽车界面设计的人机自然交互研究J.机械设计,2019,36(02):132-136.9 马晓娜,张雨欣,于茜.基于多模态信息交互的智能家居设计研究 J.包装工程,2022,43(16):59-67+115.10 朱硕,蒋晓,唐艺涛.基于情境感知的机构养老服务设计策略研究 J.包装工程,2022,43(18):136-143.11 刘尧,李亚楠.智能座舱多模态交互技术发展现状及趋势 J.汽车实用技术,2023,48(01):182-187.12 谭浩,孙家豪,关岱松等.智能汽车人机交互发展趋势研究 J.包装工程,2019,40(20):32-42.