基于群体感性工学的智能网联汽车功能偏好分析.pdf

第21卷 第3期2023年09月交通运输工程与信息学报Journal of Transportation Engineering and InformationVol.21 No.3Sep.2023文章编号：1672-4747（2023）03-0059-15基于群体感性工学的智能网联汽车功能偏好分析基于群体感性工学的智能网联汽车功能偏好分析赖信君1，林深和1，邹靖凯1，李 敏*2，黄家琪2，刘智睿2，傅 惠1（1.广东工业大学，机电工程学院，广州 510006；2.广汽埃安新能源汽车有限公司，广州 511434）摘要：不少基于智能网联汽车（ICV）的研究均假设用户高度接受并同质使用智能座舱内的智能网联功能，而在汽车“新四化”的不同阶段，用户对ICV的功能需求及使用行为有着显著个体差别特征。忽略这些特征，对智能汽车相关研究及技术发展均有较大影响。本文基于感性工学分析方法及利用大量用户的评论文本大数据，提出群体感性工学理念，旨在建立一套系统科学的ICV功能需求与偏好量化分析体系，为智能网联背景下的驾驶员行为研究及ICV技术发展提供决策支撑。该技术框架包括高效的文本数据挖掘分析方法，所提出的基于汽车领域增量训练的Bert模型能自动化识别用户评论文本中的意图、目标功能及情感强度。最后，通过引入座舱内用户行为数据建立NLP-Kansei模型，能大幅提升模型的预测性能。通过对某新能源汽车品牌两款平台车型85 441名车主共138 819条用户评论进行模型应用，精细化挖掘不同人群对于智能网联功能偏好的细微差别。对比传统预训练模型，新模型能有效挖掘用户需求偏好并显著提升计算效率，其技术框架及结果能为相关领域研发提供有效支撑。关键词：信息技术；设计需求；感性工学；用户行为；群体智能中图分类号：TP181文献标识码：ADOI：10.19961/ki.1672-4747.2023.01.005Analysis of function preference for intelligent connected vehicle basedon collective-intelligence Kansei engineeringLAI Xin-jun1,LIN Shen-he1,ZOU Jing-kai1,LI Min*2,HUANG Jia-qi2,LIU Zhi-rui2，FU Hui1(1.School of Electro-Mechanical Engineering,Guangdong University of Technology,Guangzhou 510006,China;2.GAC AION New Energy Automobile Co.,Ltd.,Guangzhou 511434,China)Abstract：In recent research on intelligent connected vehicles(ICVs),it was assumed that driverswould homogeneously accept and use all ICV functions in the smart cockpit,which is not true i.e.,in-dividual preferences were not considered.Omitting differences in ICV preference may lead to signifi-cant shortcomings of ICV-related research and technology development.This paper proposes the con-cept of collective-intelligence Kansei engineering with a large number of user-generated commentsfor developing a systematic evaluation method for quantifying the functionality requirements andpreferences.The proposed technology framework includes an efficient text-mining algorithm,and anincremental pretrained Bert model is employed that can automatically identify user purposes,target-ed functions,and emotion polarity from user texts.Finally,an NLP-Kansei model is developed withuser behaviors from the smart cockpit,and the incorporation of the Bert model and user activities can收稿日期：2023-01-09录用日期：2023-03-25网络首发：2023-04-12审稿日期：2023-01-0901-17；01-1702-08；02-0902-17；02-1703-25基金项目：广东省自然科学基金资助项目（2114050003127）作者简介：赖信君（1986），女，副教授，研究方向为用户行为建模与设计需求分析，E-mail：通信作者：李敏（1984），男，研究领域为智能网联及大数据，E-mail：引文格式：赖信君，林深和，邹靖凯，等.基于群体感性工学的智能网联汽车功能偏好分析J.交通运输工程与信息学报，2023，21(3)：59-73.LAI Xin-jun,LIN Shen-he,ZOU Jing-kai,et al.Analysis of function preference for intelligent connected vehicle based on collective-intelligence Kansei engineeringJ.Journal of Transportation Engineering and Information，2023，21(3)：59-73.60交通运输工程与信息学报第21卷significantly improve the performance of the classification targets.Data of 85441 drivers and 138819user comments from two new energy vehicle platforms were used for testing the model.The resultsindicated that the proposed model outperformed the conventional Bert model.The proposed technol-ogy framework is practical and can effectively support ICV-related research and development.Key words:information technology;design requirements;Kansei engineering;user behaviors;collective intelligence0引言根据中国汽车工业协会数据显示，2021年，中国汽车全年产销量均超2 600万辆，汽车产销总量连续13年稳居全球第一。同时汽车在电动化、智能化、网联化、共享化取得巨大进步，其中新能源汽车全年销量超过 350万辆，市场占有率提升至13.4%1。新能源汽车行业呈现快速增长的势头，汽车智能化发展已经成为行业共识，智能网联汽车将在未来改变现有交通模式2。在国家政策引导下，汽车的高级别自动驾驶技术得到了迅速的发展。但就现有实践和研究表明，实现自动驾驶将是一个漫长的过程3-4。对于新能源汽车的智能化发展，需要继续提升自动驾驶技术5；同时需要从消费者角度出发，挖掘用户对于智能网联汽车的热点需求，并对现有产品进行优化改善，提升消费者满意度，进而扩大市场6。当前用户对于智能网联汽车的功能需求主要集中在以下几个方面：行车参数、驾驶辅助信息、车辆导航、信息娱乐、通信、语音交互。其中信息娱乐和车辆导航是用户使用最多的功能，但就现有的车机应用而言，仍存在许多问题，如导航不准确、应用更新慢、消息实时性差、应用数量少等。目前，用户更多倾向于使用手机导航，信息娱乐依旧以听音乐和听电台为主，视频类和游戏类应用受限于设备兼容性，用户使用率低，车机设备利用率低7。如何洞察到用户的使用偏好并转化为设计需求，发现车辆智能网联系统存在的问题，并进行迭代改善，构建完整的车机应用生态环境，快速响应用户需求，让用户感受到汽车智能化带来的便利，是目前各车企在建设智能网联汽车系统的道路上面临的问题。以本文研究的车企为例，该企业乘用车的售价在10万元至50万元之间。该企业希望通过挖掘用户的需求来优化其产品的智能网联汽车系统，以建立完整的应用生态系统。首先，由于APP软件和车机硬件的适配问题，使得大量的 APP 软件无法直接移植到车机系统上，用户的需求无法得到满足。其次，因新能源汽车的更新迭代速度较快，但车企的软件开发能力较为薄弱，导致现有软件在版本迭代中存在许多问题，给用户带来了不好的使用体验。最后，车企的问题反馈流程较长。如传统的问题反馈，需要经历以下阶段：用户发现问题、用户投诉、售后部门反馈、技术部门处理、提出解决方案、解决用户问题等阶段。漫长的问题处理流程，消磨了用户的耐心。因此，为了给用户带来更好的使用体验，该企业希望能充分利用客户反馈数据，集合用户在使用过程中的体验及建议，建立一种“群智”（collective intelligence）分析机制以更好地完善产品设计。特别地，更好地量化用户发言中的目的及情感，得到不同用户对不同功能的情感偏好，更好地结合用户多模态大数据实现新的感性工学设计8。针对以上问题，本文提出了相应的解决思路，如图1所示。第一，用户文本数据由用户真实产生且是未经过清洗的原始数据。数据存在以下问题：数据来源种类繁多、数据量大、格式不一、信息杂乱等，使得获取的数据存在大量噪声，难以发现用户的实际需求。因此，需要通过制定合理的数据清洗策略，去除数据的噪声，从而提高数据质量，提高后期模型预测准确率。第二，在众多的用户多模态数据挖掘及需求分析的工作中，主要利用聚类分析、分类模型、结构方程模型等方法。针对不同的数据来源，有效结合用户文本数据和使用行为数据，从中准确挖掘并量化用户对功能的需求。第三，考虑到对于车企而言，添加每一个功能都会增加汽车的生产成本，会影响企业利润，故不能因某用户表达了对某一功能的意见或者需求就对智能汽车生态系统进行改动，而是需要判断目标用户群体对于这一功能是否有真实需求。因此赖信君 等：基于群体感性工学的智能网联汽车功能偏好分析61第3期在挖掘用户需求的方法上，还需结合情感分析方法，深度分析用户对于智能网联汽车系统的真实需求。图1 问题及解决思路Fig.1 Problem description and solutions通过本文提出的方法，车企可更好地理解ICV用户的功能偏好，并快速转化为用户的设计需求，用于缩短用户反馈的应答流程以提高用户产品使用体验。同时，通过用户需求知识的挖掘和提炼，车企能进一步优化智能汽车生态应用，从用户的感性需求支撑企业的理性决策。1文献回顾1.1用户需求分析分析用户的需求有助于提高企业的产品质量与服务水平，通过了解用户的实际需求，企业可进一步优化产品，扩大企业市场，提高企业的利润。目前，对于用户需求挖掘相关的研究常见于信息推送、产品设计、智慧服务等领域，如Lai等通过挖掘互联网用户发言，提出利用用户生成大数据进行感性工学设计，并应用于新能源汽车外观设计8及智能手机配置9；李贺10通过Word2vec获取文本语义词向量，结合K-means和LSA算法，实现评论文本聚类，识别产品主题，以华为手机用户的评论为例探索需求主题间的关联关系；苗红11在对老年可穿戴式跌倒报警产品的需求分析中，通过将用户评论进行情感极性分类，并将结果纳入结构主题模型（STM）中，克服了传统词频统计方法的片面性缺陷，提高了用户功能需求定位的准确性；曹阳12以华为手机用户的在线评论为例，通过LAD主题模型进行主题挖掘，在主题聚类的结果中识别用户的需求，并结合Kano模型分析各服务要素对于用户满意度的影响，确定用户需求的重要度和供给优先级顺序；Cao等13对智能设备软件的研究进行了综述，分析了APP设计功能推荐及需求预测的方法；Gao等14通过收集用户在应用商店中对于不同APP的评论数据，挖掘数据中隐含的主题，然后建立基于用户评论的APP软件主题动态更新模型；Iacob等15对用户评论内容进行分析，从而实现自动获取用户对于应用软件功能方面的需求；王伟等16通过考虑在线评论对用户相似度识别的影响结合评论的情感极性，来建立用户偏好模型；Anam等17挖掘用户评论内容的主题特征，结合用户的情感，构建了用户对APP软件的偏好排名系统；Guzman等18通过自然语言处理技术分析应用软件中用户评论的主题特征，通过聚类方法对特征进行分类并判断用户的情感，从而帮助产品开发人员分析用户对软件的需求。综合上述研究可知，基于用户在线评论的需求识别已经成为该领域的关注焦点，但目前还存在一些局限。以上研究大多采用传统机器学习模型或者统计模型，研究聚焦于利用词袋模型表达文本特征，只提取到了词语的频次关系，而忽略了文本上下文的词语含义，无法深层次地表达文本特征；同时由于用户在线评论属于短文本，用户发言较为随意，存在特征高维稀疏的问题，对于算法运行有更高要求，从传统机器学习的角度考虑，简单的机器学习模型，难以保证需求识别的准确性和有效性。而通过较为复杂的深度学习模型，可以考虑到文本上下文的语义关系，更好地识别用户需求。此外，这些文献更多的关注用户的网络发言，对于如何结合其他用户数据，如用户在产品使用过程中产生的行为数据综合考虑较少。1.2应用深度学习的文本分类Hinton 等19于 2006 年提出深度学习的概念后，解决了机器学习算法浅层结构对于复杂函数的表示能力有限等问题，特别是Krizhevsky等20提出的AlexNet网络使得深度学习引起广泛关注，应用深度学习进行文本分类成为了主流的研究方向。如Kim21首先提出CNN分类模型用于文本分类，实现文本的情感分类；同时由Jordan等22提出的RNN（循环神经）网络对于短文本的文本分类有较好效果，但是对于长文本的效果不明显；Hochre-iter等23提出的长短时记忆网络（LSTM）通过建立门结构，解决了RNN梯度爆炸和梯度消失的问题；Schmidhuber等24提出双向循环神经网络，模型可以学习到文本上下文信息；Mikolov等25提出通过上下文预测目标词的 CBOW（Continuous Bag-of-Words Model)和利用目标词预测周围词的 Skip-gram模型，对于细粒度的语义表达有很好的效果。2017年谷歌团队提出Transformer模型，借由注意力机制，可以更好地理解文本语义，使注意力机制得到广泛应用；Bahdanau 等26将 Attention 机制应用于自然语言处理领域，在文本翻译领域取得较好结果；吴小华等27提出了基于 Self-Attention 和Bi-LSTM的中文短文本情感分析，以酒店用户评论为例进行情感极性二分类，分类效果相对于LSTM和CNN等单一神经网络有所提高。预训练模型最早由Word2vec发展到ELMo分类模型，借由 Transformer 模型进行改造，产生了Bert模型、XLNet模型、ERNIE模型等在文本分类领域都取得了远超传统模型的效果。如方英兰等28用Bert代替Word2vec训练词向量，嵌入模型后取得更好的效果；王立梅等29通过将多个深度学习模型应用于民事案件预判结果分类领域，并通过裁判文书特点对模型进行优化，结果表明包含注意力机制的预训练模型分类效果优于其他深度学习模型；林佳瑞等30在 Bert预训练模型的基础上，构建基于长短期记忆-卷积神经网络（LSTM-CNN）的文本分类模型，结果表明模型对于真实灾害信息的识别有较高准确率。以上研究对于用户评论数据的分析挖掘工作主要从数据本身的结构特征出发，同时结合文本分析、情感分析等方法对原始数据的特征、规则进行处理。在相关的领域内，有效提升了有价值的需求信息的挖掘效率和质量，但在以下方面尚有不足：（1）近年来在文本分类领域，不少科研组织公开了部分行业数据集用于模型测试及评估，但仍有必要利用特定领域的数据集，用于进一步评估特定模型的性能31。（2）现有预训练模型的参数一般是基于通用语料库训练生成的，没有使用特定领域的文本进行参数调整32。（3）针对现实中用户留下的多模态大数据，如何有效融合及增强分类模型效果较少探索。因此，本文提出一种基于用户多模态行为数据的汽车领域的用户评论多标签分类模型。该模型基于基础Bert预训练模型使用汽车用户评论进行文本增量预训练，并利用行为数据对结果增强，通过多个分类器构建多标签分类器，可以有效预测用户多个需求及用户情感。2研究方法本文从用户评论文本出发，利用自然语言处理、机器学习等方法，首先提取用户文本中所关注的功能部件、评论目的，以及评论的情感强度。通过对结果进行集计分析，可进一步理解ICV用户对不同功能部件的偏好程度。最后，通过技术配置进行联合分析，可进一步细化产品的设计需求，指导用户的理性决策。如图2所示，本文的研究方法主要分为四个阶段：（1）需求定义阶段：确定企业所关注的关键词，构建用户关键词集。（2）数据处理阶段，首先对原始数据进行筛选，根据企业确定的标签对数据进行标注，生成完整的数据集。（3）在建模阶段，提出一种基于Bert预训练模型的多标签分类模型，通过构建多个二分类模型，实现对多个标签的预测，然后对Bert模型进行增量预训练，再对模型进行微调，提高模型分类准确率。（4）最后，在模型增强阶段，通过复合用户在使用过程中留下的多模态数据，进行更立体全面的用户画像并作为模型输入，获得更准确的预测效果。62交通运输工程与信息学报第21卷图2 技术路线图Fig.2 Research framework2.1数据处理在使用大数据进行必要的分析前，对数据的清洗是至关重要的，一个干净完备、数据信息有效性高的数据集会大大提高数据分析结果的准确性。对数据的清洗，主要是识别“脏数据”，即对噪声数据进行清洗，对缺失值数据进行填补等。如Yao33通过从原始的数据集里挑选与任务相关的数据进行模型训练分析，发现几GB的数据训练的模型结果相比于上百 GB 的原始数据效果更好。Yao通过对任务数据的筛选，提高了数据的质量和信息的有效性，使得实验数据相比于原始数据来说，数据相关性更高，对后续模型的分析结果有较大的提升。本项目原始数据来源于企业数据库中的多份表格，包含用户投诉数据、用户问题数据、用户回答数据、用户在线评论数据、用户动态信息数据、用户与客服人员的群组聊天记录等。数据清洗流程如下所示：（1）通过正则表达式去除数据中的网站链接、表情符号和标点符号等；（2）使用jieba分词对文本数据进行切分（jieba分词可以建立自定义词库，防止对专业名词的切分）；（3）通过TF-IDF从客户投诉数据里提取用户常用智能网联汽车领域关键词；（4）使用word2vec对全体数据进行词向量编码，获取步骤（3）关键词的近义词，并进行一定的调整，生成完整的智能网联汽车关键词表。（5）使用关键词表对数据进行匹配，完成对原始数据的筛选工作。2.2数据标注对用户文本表达需求的分析中，首先要明确用户描述的应用，然后是用户对于应用的需求，最后是用户对于这一需求的情感极性。例如用户表达“现在的车机上没有高德地图，感觉大屏浪费了，能不能远程OTA升级推送给我”。用户表达了对新增车机应用的需求，同时情感极性为负面，抱怨车机没有得到有效利用。由此我们定义一个三级标签的标签体系，标签1是用户描述的对象，标签 2 是用户的问题表达，标签 3 是用户的情感极性。考虑到部分文本的表达只是纯粹的用户情感表达或者模糊的意见（如“天真蓝，和我车子颜色好配”），并不在专业人员提供的范例中，我们将这一文本类别定义为其他类别，最终标签 1共有 18个类别，标签2共有6个类别，标签3有3个类别。标签体系如表 1所示。根据设定的标注体系，首先让多名标注者对经过关键词筛选后的数据进行标注，然后对标注结果进行一致性检验，针对单条评论数据，取一致性最高的结果作为最终标注结果。表1 标签类别及其描述Tab.1 Three labels and descriptions标 签标签1：用户文本所提及的功能部件分类标签2：用户文本目的分类标签3：用户文本的情感极性类 别 描 述OTA：车辆软件系统在线升级的要求；智能驾驶：车辆的智能驾驶功能；巡航功能：车辆行车过程中的巡航功能；生态应用：智能网联汽车系统生态应用故障反馈：用户反映车辆功能故障；功能需求：用户对车辆功能的增加需求；应用升级：用户对车辆功能的升级需求正面：积极表达；中性：中性表达；负面：负面表达筛选后的用户评论数据集格式为（文本，标签1|标签2|标签3），不同类别的数据部分标注案例如表 2所示。赖信君 等：基于群体感性工学的智能网联汽车功能偏好分析63第3期表2 部分标签案例Tab.2 Examples of the three labels用户发言样例车上的移动网络咋没了我的OTA总是推送不成功360影像时间能调长一点吗？车机娱乐APP真是差了好多东西标签1网络信号OTA影像功能生态应用标签2故障反馈应用升级使用咨询功能需求标签3中性负面中性中性2.3基于多模态数据的群体感性工学模型2.3.1 增量预训练的Bert分类模型Bert预训练模型是Devlin等34于2018年提出的一种动态词向量表示方法，是对Transformer模型的改进，通过对大量中文语料库训练生成预训练模型，在文本句子层面，Bert模型可以充分融合词语本身以及上下文语义信息的词向量知识，模型结构如图3所示。图3 Bert 文本分类模型结构Fig.3 Bert text classification modelBert模型采用Transformer模型中的编码器设计，通过将输入的中文文本映射为动态词向量。输入层向量由词向量、文本向量和位置向量组成，借由多头注意力机制，相比于传统的静态词向量表示方法，能够更好地解决中文短文本中存在的同义词、近义词以及一词多义现象，从而更好地实现用户文本的语义特征表达。目前为止的大多数预训练模型，一般都是使用Pre-training+Fine-tuning两个阶段的模型。第一阶段，通过大量的训练数据（无监督样本）与模型参数，从文本中学习到通用的知识；第二阶段，针对下游特定领域的任务需求，利用已标注的有监督样本数据，对上一步的通用模型进行微调。但是在实际应用的过程中，通用模型存在许多问题，如直接使用预训练Bert过于泛化，无法精确地学习到特定任务的知识，而微调模型又对于标注数据有较高需求。为了学习特定领域任务的知识，可以对模型训练过程进行调整，将两个阶段的模型应用方式调整为三个阶段。第一个阶段是大规模的预训练（Pre-training），获得一个通用预训练模型；第二个阶段为特定领域的预训练（Post-training），在通用预训练模型的基础上加入特定领域的数据，再做增量预训练；第三阶段，利用少量的有监督数据进行 Fine-tuning。Gururangan 等35实验了四个领域（生物、CS、新闻、评论）的八个分类任务，发现通过在第二阶段接入与任务和领域高度相关的无监督数据可以有效提高模型的分类能力。在现有的开源预训练模型中，暂时没有基于新能源汽车用户评论文本的预训练模型，预训练模型不能精确地学习到智能网联汽车领域的知识。为了使模型可以精确地学习到智能网联汽车领域的任务知识，本研究获取了大量企业实际用户对于其智能网联汽车的评论反馈。首先，在现有预训练模型的基础上，加入企业用户评论数据，进行模型的增量预训练。然后通过企业标注工程师标注的多标签数据集进行任务微调，从而实现文本的多标签分类。其原理如图4所示。图4 增量预训练模型Fig.4 Incremental pre-trained text classification model2.3.2 用户多模态数据增强的Bert：NLP-Kansei模型在实际工程应用中，自然语言处理算法的精度往往难以保证应用的需求，即使是以Bert为代64交通运输工程与信息学报第21卷表的预训练 SOTA 模型，亦难以满足工程应用要求，这是由于在NLP模型的训练过程中，只考虑到了用户文本发言情景，而未能结合用户的实际用车习惯、个人性格等个人属性，因此在现有的研究中，越来越多的研究者将考虑在单一的模态场景中融入更多模态场景的数据，并通过实验证明多模态场景相对于单一模态场景可以取得更好的实验结果36。在我们的研究中，单纯使用用户文本进行模型训练，在评价指标上发现即使增量预训练Bert模型的精度也仅为75%37，较高的误差对实际的产品设计、改善、设计资源调度都带来了难题。因此，本文进一步将数据源扩展，除了用户产生的发言外，从深度和广度两个维度上进行数据的丰富。在深度上，以用户ID为主键，对用户的历史发言进行挖掘，从用户的发言习惯、发言风格、发言版块、关键词、情感偏好上对用户的个性进行侧画；在广度上，将用户发言ID与汽车VIN码进行匹配，同时关联用户在汽车座舱中的使用行为，包括对不同ICV功能使用的频率、时长、点击模式等使用行为，以及从日常活跃的城市等级、出行轨迹、活动模式等数据中对用户的生活方式进行刻画。因此，我们能得到一系列较为丰富的数据，能在对用户画像进行定性分析的同时，进一步对所建立的预训练Bert模型的精度进行提升。以量化方式，进一步获得不同用户对何种ICV功能作出何种评价、其情感是何种极性，如式（1）所示：Pri,t()LICV,LP,LE=f()Linc-BERT,UGCi,t-,ICi,t-,VUi,t-,=1,2,t-1（1）式中：Pri,t()LICV,LP,LE为用户i在t时刻的发言在标签1LICV（提及何种ICV功能）、标签2LP（发言目的）及标签3LE（情感极性）上的概率；f为所选用的模型，可为计量经济学中的离散选择如 logit、probit等，亦可以是机器学习中的分类模型，如支持向量机 SVM、随机森林 RF 等；Linc-BERT为增量预训练Bert模型对文本在三个标签上的预测结果;UGCi,t-为用户i在t时刻前（t-,=1,2,t-1）历史发言所衍生的特征变量向量；ICi,t-为用户i在t时刻前在智能座舱中的历史使用行为所衍生的特征变量向量；VUi,t-为用户i在t时刻前汽车使用行为所衍生的特征变量向量。本文提出的用户行为数据增强的NLP-Kansei模型受集成学习模型中Stacking模型启发，首先在增强预训练NLP分类模型的基础上获取文本分类概率，然后结合Kansei模型刻画出的用户个人属性变量集在次级模型如随机森林、XGBoost、K近邻等模型上进行再次训练并预测，得到最终分类结果。多模态数据及Bert自然语言处理模型的结合，一方面弥补了仅针对文本训练的Bert模型预测精度不足的问题，另一方面亦针对行为模型中仅利用行为数据而无法具体得知用户意图及偏好的难题。因此，新方法能更好地获取用户对不同功能部件的感性需求，能得到更好的量化预测精度，企业可针对量化后的用户感性需求进行理性决策分析。图5为用户行为数据增强的NLP-Kan-sei模型。图5 用户行为数据增强的NLP-Kansei模型Fig.5 NLP-Kansei model with user behavioral dataenhancement3 实验结果分析3.1 实验步骤3.1.1 数据集企业数据库所提取的数据由用户在企业不同平台的发言数据组成，从2021年8月2号12月23号期间共138 819条用户评论，通过初步筛选后共获得25 888条相关数据。然后通过设定好的标注体系对数据进行标注，并分发给多名标注者进行标注，最终根据一致性检验获得有效标注文本数据6 500条。3.1.2 模型训练首先，对于通用预训练模型，本文选取谷歌发布的中文 Bert 预训练模型，采用维基百科获取1 360万条数据作为预训练语料。针对本文的分类任务，在Bert模型的输出层连接一个分类层，实现对文本的分类任务，对不同层级标签的选取，根据每层预测概率最大的值作为该层级的预测标签。其次，增量预训练的数据均为用户在线评论文本，不包含实验标注的有监督数据，该数据的处赖信君 等：基于群体感性工学的智能网联汽车功能偏好分析65第3期理不经过关键词筛选，只通过正则表达式，过滤评论中的表情包符号和网址链接。增量预训练模型与通用预训练模型应用的不同地方在于，在实现模型的分类任务之前，增量预训练模型先将无监督样本数据作为输入，以通用预训练模型为基础进行增量训练，使得通用预训练模型可以学习到无监督样本数据的知识。在生成的增量预训练模型上再实现模型的分类任务。为了检验模型对于数据的泛化能力和鲁棒性，本文采用五折交叉检验，从全体数据集中随机挑选80%作为训练集，12%作为测试集，8%作为验证集。模型训练参数设置如下：训练轮数（Ep-och）最大值设置为30、学习率设置为110-5、优化器选用Adam、批大小为4、最大文本长度为256。3.1.3 模型评估在对模型效果的评估方面，当模型属于二分类时，使用混淆矩阵是一个较好的方法，它允许可视化测试集中样本所有可能的分类。混淆矩阵中的每一行是模型预测的类别，每一列是实际的类别。本文利用三种不同计量方式的F1评分对传统Bert 模型及基于汽车领域文本的 Bert 模型进行评价：F1micro_avg=i=0nclassin（2）F1macro_avg=i=0nclassi*supportii=0nsupporti（3）F1weighted_avg=i=0nclassi*()supportisupportall（4）式中：classi为第 i个标签的 F1值；n为标签数量；supporti为第i个标签的数量；supportall为全体标签数量。3.2实验结果由于模型在训练过程中，会对数据多次重复输入训练，以更好地学习到文本数据的知识。为了使得模型不至于在训练过程中存在过拟合或者欠拟合的情况，在模型的训练过程中，监控模型训练过程中的损失函数值及准确率值，当模型损失函数越小越接近于0，准确率越高越接近于1时，模型达到最少训练轮次。3.2.1 通用预训练Bert模型首先基于通用预训练Bert模型进行数据挖掘分析，训练过程中训练集的准确率先上升后逐渐平稳，损失函数值先下降后逐渐平稳，模型基于Keras框架实现，通过设定早停策略。设定模型训练上限次数为30个epoch，模型训练过程中，当训练集的准确率到达99.9%时，模型自动停止训练，并保存最优参数。3.2.2 基于汽车领域文本的增量预训练模型首先，收集与汽车领域用户发言相关的评论文本，本实验收集到23.5 MB的用户评论短文本，共138 819条数据，将其作为语料基于通用预训练Bert模型进行增量训练，生成增量预训练模型。其次，基于增量预训练模型进行数据挖掘分析。模型训练过程中的损失函数和准确率与通用预测练模型相似，训练过程中训练集的准确率先上升后逐渐平稳，损失函数值先下降后逐渐平稳。然而，通过增量知识进行预训练的模型，在切分方式不同的数据集训练表现上，可以较快地提升准确率，同时达到设定的拟合条件。本文在完整的数据集上采用深度学习模型进行训练验证，表3所示给出模型在完整数据集上的表现。在不同评价指标上，Precision，Recall及 F1评分均是5折交叉验证取平均值的结果。整体看来，对比通用预训练Bert模型和增量预训练的Bert模型，发现在micro avg指标上，增量预训练模型在预测准确度、召回率和F1评分均超过通用预训练模型。表3 通用预训练模型与增量预训练模型F1均值对比Tab.3 F1 average scores from five cross-validationscomparison between the conventional Bert andthe modified BertF1指标micro avgmacro avgweighted avg通用Bert增量Bert通用Bert增量Bert通用Bert增量Bert精准度0.766 70.767 40.721 30.706 70.761 50.763 2召回率0.766 90.767 50.668 60.697 30.766 90.767 5F1值0.766 80.767 40.668 30.694 90.746 10.761 4通过macro avg的指标发现在召回率和F1评分上增量预训练效果优于通用预训练模型，在预测准确率上表现略差，而通过weighted avg的指标发现经过增量训练的Bert预训练模型相对于通用66交通运输工程与信息学报第21卷Bert模型对于数据的分类能力有明显的提升。增量预训练的Bert模型对于用户评论的分类能力，相对于 Bert的通用预训练模型有 2%3%的分类能力提升。为进一步分析两个模型的差别，对两个模型不同指标的差别进行 t检验（见表 4）。在macro avg指标上，新模型的召回率及F1评分值要显著优于通用模型。为更全面地评估两个模型的性能，表 5分别对两个模型的训练时间进行记录，比较通用预训练模型和增量预训练模型所消耗的时间，发现增量预训练模型消耗的时间更少。表 6进一步对模型训练时间的差别进行 t检验，T在 95%的置信水平下显著，即增量预训练模型的训练时间显著低于通用预训练模型。表4 通用预训练模型与增量预训练模型结果指标差别t检验Tab.4 T-tests for the results F1 scores comparison between the conventional Bert and modified Bert modelsF1指标micro avgmacro avgweighted avg精准度召回率F1值精准度召回率F1值精准度召回率F1值差别均值0.000 630.000 630.000 63-0.014 600.028 660.026 570.167 220.000 630.015 21差别标准差0.014 990.014 990.014 990.029 650.021 160.021 391.609 320.014 990.013 69t值0.095 310.095 000.095 15-1.101 553.028 972.777 680.232 340.095 002.484 49p值0.928 650.928 880.928 760.332 480.038 810.049 930.827 670.928 880.067 88是否显著否否否否是是否否否表5 通用预训练模型与增量预训练模型训练时间对比Tab.5 Training times comparison between the conventionalBert and modified Bert models5折交叉检验12345通用Bert2 454.862 780.742 292.282 693.902 794.30增量Bert1 781.742 214.531 735.921 825.361 906.38T673.12566.21556.36868.54887.92表6 通用预训练模型与增量预训练模型训练时间差别t检验Tab.6 t-tests