T_CI 155-2023 基于多模态大模型的智慧交通出行技术规范.docx

ICS35.240.99CCSL 73 团体标准T/CI 1552023基于多模态大模型的智慧交通出行技术规范Technical specifications for intelligent transportation based on multimodal large models2023 - 09 - 28 发布2023 - 09 - 28 实施中国国际科技促进会发 布目次前言II1 范围12 规范性引用文件13 术语和定义14 缩 略语15 基于多模态大模型的智慧交通出行技术框架26 数据采样与建模融合27 多模态机器学习大模型48 基于机器学习的智慧出行多模态大模型应用场景11前言本文件按照GB/T 1.12020标准化工作导则 第1部分：标准化文件的结构和起草规则的规定起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由南方科技大学提出。 本文件由中国国际科技促进会归口。 本文件起草单位：南方科技大学、长春理工大学、中国第一汽车集团有限公司、北京大学、华为技术有限公司、浪潮通用软件有限公司、同济大学、中国检验认证集团深圳有限公司、中山大学、天津大学、上海理工大学、北京交通大学、重庆大学、北京嘀嘀无限科技发展有限公司、北京高科中创科学技术中心、深圳市骏嘉科技发展有限公司、深圳市铠硕达科技有限公司、深圳浑沌数字化实验室科技有限公司、深圳树米网络科技有限公司、汕头大学、吉林省卡思特科技有限公司、吉林省中云数讯股份有限公司、超智研发中心（深圳）有限公司、碳猎研发中心（深圳）有限公司、深圳安视信息技术有限公司、苏州奇盈半导体科技有限公司、维旭长电科技（深圳）有限公司。 本文件主要起草人：宋 轩、陈纪元、王宏俊、杨华民、王兴山、赵卫东、朱金波、谢洪彬、张浩然、张家祺、冯德帆、宋 歌、张嘉晖、李昊洋、吴季泫、陈孙兵、陈天乐、张凌宇、由林麟、胡清华、刘振栋、金 一、李浥东、贾云健、吴国斌、王潇、梁舰、张 昕、宋小龙、刘 妍、周时莹、李长龙、孙宗姚、王中一、谢 奕、高 亮、陈 欣、陈 瑶、袁 飞。 基于多模态大模型的智慧交通出行技术规范1 范围本文件确立了智慧交通出行技术的数据采样、数据预处理、多模态大模型流程逻辑，描述了智慧交通出行应用场景，并提出了性能评估指标要求。 本文件适用于基于机器学习的智慧交通出行技术平台建设，以及多模态信息融合智慧交通大模型应用。 2 规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T 5271.34-2006 信息技术 词汇 第34部分:人工智能 神经网络GB/T 34678-2017 智慧城市 技术参考模型 GB/T 35295-2017 信息技术 大数据 术语GB/T 37043-2018 智慧城市 术语 GB/T 41867-2022 信息技术 人工智能 术语 3 术语和定义GB/T 5271.34-2006、GB/T 34678-2017、GB/T 35295-2017、GB/T 37043-2018、GB/T 41867-2022界定的以及下列术语和定义适用于本文件。 3.1邻接矩阵 adjacent matrix用以表示交通图数据中不同节点的空间相关性权重的二维正方形矩阵。 3.2欧式距离 euclidean符合现实物理世界定义的距离评判标准。 3.3注意力机制 attention mechanism通过额外的神经网络参数控制网络关注点的一种手段。 3.4周期学习率 cyclic learning rate对神经网络学习率的一种调整手段。 3.5随机失活 dropout对神经网络神经元进行随机失活的一种手段。 4 缩略语下列缩略语适用于本文件。 GPS: 全 球 定 位 系 统 (Global Positioning System) RNN：循环神经网络（Recurrent Neural Network） LSTM：长短期记忆网络（Long Short-Term Memory） CNN：卷积神经网络（Convolutional Neural Network） RMSE：均方根误差（Root Mean Square Error） APE：平均绝对百分比误差（Mean Absolute Percentage Error） GCN：图卷积网络（Graph Convolutional Network） 5 基于多模态大模型的智慧交通出行技术框架以多模态大模型为基础的智慧出行技术规范中包含了数据采样层、数据预处理层和多模态机器学习层，技术体系具体见图1。多模态大模型融合了多种数据来源，在知识掌握中有着更加全面的认识。该规范符合现代技术的要求和常规流程，可以为与广大人民群众日常生活紧密相连的如规划行程路线，选择交通方式，避开拥堵地段等等应用提供一个完整、统一、规范的标准，为智慧城市面临的挑战提供智能化和科学化的支持。 图1 基于多模态大模型的智慧交通出行技术体系6 数据采样与建模融合6.1 数据采样来源6.1.1 道路信息数据包括路网结构，各种交通政策和规则，如道路限速、禁行规定、停车规定、高峰期限行规定等对于交通模型的构建和优化都很重要的数据。 6.1.2 土地使用模式数据土地使用模式（比如住宅区、商业区、工业区的分布）可以影响人们的出行需求和路径选择，因此也需要收集和分析这类数据。 6.1.3 GPS 追踪数据汽车和移动设备的GPS数据可以用于实时交通流量监测和预测，路线规划，以及对共享出行服务的需求预测。 6.1.4 公共交通数据公共交通数据主要包括公交车、火车、电车等公共交通工具的时刻表和实时运营数据，可以用于优化公共交通服务，改善出行体验。共享单车、共享汽车、拼车服务等提供商的数据，可以用于需求预测、价格优化和服务改进。 6.1.5 交通传感器数据道路上的交通传感器可以提供实时的交通流量、车辆速度、交通灯状态等信息，用于交通管理和预测。 6.1.6 遥感数据卫星遥感图像可以提供大范围的地表覆盖情况和道路网络信息（如山丘、河流、湖泊、桥梁等，可能会影响交通路线的选择和交通条件），也可以用于监测交通流量和拥堵情况。 6.1.7 新闻数据与交通有关的新闻（广播）数据可以提供各路段的拥堵以及事故情况，可以帮助大模型实时修正预测结果。 6.1.8 社交媒体数据社交媒体如微博数据可以提供各处民众对于交通情况的实时观测，可以帮助大模型实时修正预测结果。 6.1.9 移动应用数据像高德地图和滴滴打车这样的移动应用生成的数据，如用户的搜索和出行记录，可以提供用户个性化的丰富的出行行为信息。 6.1.10 物联网数据如车载传感器、智能信号灯、智能停车场等IoT设备生成的数据，可以提供实时的交通状态信息。 6.1.11 天气数据天气条件可以影响人们的出行模式和需求，因此天气数据也是一个重要的数据来源。 6.1.12 空气质量数据空气质量数据也可以用于智能路线规划。例如，智慧交通系统可以建议用户避开空气质量差的区域， 选择空气质量较好的路线。 6.2 数据建模融合6.2.1 数据清洗数据清洗主要是去除噪音和异常值，处理缺失值，纠正错误和不一致的数据。例如： a) GPS 数据可能存在定位错误的情况，需要去除错误的GPS 定位点，如距离过远或速度异常的点； b) 交通传感器数据也需要除去传感器故障导致的异常值； c) 对于土地使用模式数据我们需要去除无效或不一致的数据，比如土地分类错误的区域； d) 对于图像数据我们可以删除质量低的图像，例如模糊的图像； e) 对于文本数据，删除不需要的字符（如特殊字符，数字等），将文本转换为小写，处理缩写等则是常用的数据清洗手段。 6.2.2 数据聚合数据聚合主要服务于轨迹数据，如基于时间和/或空间将GPS点聚合到更高级别的单元，如路段或网格。这方面的常用方法是FMM（Fast Map Matching），FMM可以在不同精度条件下将稀疏的GPS点聚合到路网上。 ，工业区编码为3等。常用的编码方法有标签编码（Label Encoding）和独热编码（One-Hot Encoding）。 a) 标签编码（Label Encoding）是一种常见的特征处理方法，它将分类变量（ Categorical 值，Variables）转换为数字，从而方便机器学习算法处理。具体来说，标签编码将每个不同的分类值赋予一个唯一的整数标签。标签编码的优点是简单易实现，适用于一些算法的输入要求为数字的情况； b) 独热编码（One-Hot Encoding）是一种常见的特征处理方法，用于将分类变量（Categorical Variables）转换为数字，以便机器学习算法处理。独热编码的优点是可以处理分类变量，并且不会引入任何顺序偏差。此外，在某些机器学习算法中，独热编码也可以改善模型的性能。 6.2.4 特征工程特征工程是机器学习中的重要步骤，它涉及到从原始数据中提取有用的信息，将这些信息转化为对机器学习模型有用的特征。对于交通数据来说，原始的GPS数据可能包含了位置、时间等信息。然而， 这些原始数据对于机器学习模型来说并不直接可用。因此，我们需要通过特征工程从中提取出对目标任务有意义的特征，例如行驶速度和行驶方向。这样的特征可以通过计算两个相邻的GPS点之间的距离和角度得到。对于社交媒体数据，原始的文本数据也并不能直接用于机器学习模型。我们可以通过对文本进行处理，如分词、词干化、词袋或TF-IDF转换等，将文本数据转化为机器可以理解的形式。此外，还可以通过情感分析提取出文本的情感倾向，或者通过关键词提取找出文本的主题。图像数据同样也需要进行特征工程。在智慧交通的背景下，我们可能需要从图像中提取出车辆和行人的位置，以及他们的行为。这可以通过图像识别和目标检测等技术实现。 6.2.5 数据归一化数据归一化是一种预处理技术，主要用于改变数据的尺度，使其落入一个小的、特定的区间（如 0,1 或 -1,1）。在机器学习和数据挖掘中，数据归一化的主要目的和作用有：消除量纲影响，加快学习速度，提高模型精度，使数据更接近正态分布，提高模型的泛化能力。常用的数据归一化算法有如下两 种。 a) z-score 均值化是一种常见的特征缩放方法，也叫标准化（Standardization），它将原始数据进行线性变换，使得变换后的数据满足均值为 0，标准差为 1 的正态分布。这种方法可以使得不同特征的数据具有相同的尺度，从而方便机器学习算法处理。z-score 均值化的具体方法是：对于每个特征，计算其所有样本的均值和标准差，然后将该特征的每个样本数值减去均值，再除以标准差； b) 线性归一化（也称为 Min-Max Scaling）是一种常见的特征缩放方法，它将原始数据进行线性变换，使得变换后的数据在一定范围内，通常是0,1或-1,1之间。这种方法可以使得不同特征的数据具有相同的尺度，从而方便机器学习算法处理。线性归一化的具体方法是：对于每个特征，计算其所有样本的最小值和最大值，然后将该特征的每个样本数值减去最小值， 再除以最大值和最小值之差。 7 多模态机器学习大模型7.1 特征编码方法7.1.1 特征编码必要性在构建多模态融合大模型时，需要使用适当的编码器将来自不同模态的数据转化为适合模型处理的形式。不同类型的数据具有不同的特性，因此需要使用不同的方法来提取其特征。 7.1.2 全连接网络全连接网络（Fully Connected Network，FCN）是神经网络中的一种类型，也被称为密集连接网络或多层感知机（Multi-layer Perceptron，MLP）。在全连接网络中，每一层的每个节点都与上一层的所有节点相连接。这就意味着，网络中的信息在传播过程中会完全通过每一层的所有节点。全连接网络是深度学习中最基本的网络结构，尽管在许多复杂任务（如图像识别或自然语言处理）中，其他更复杂的网络结构（如卷积神经网络或循环神经网络）可能会有更好的性能，但全连接网络仍然在许多简单任务中表现出色，并且常常被用作其他网络的组成部分。例如，在一个典型的卷积神经网络中，全连接层通常被用作最后一层，以生成最终的预测结果。 7.1.3 卷积神经网络卷积神经网络（Convolutional Neural Network，CNN）是一种特殊类型的人工神经网络，它在图像处理和计算机视觉任务中尤其有用。CNN的主要特点是使用卷积层来自动学习空间数据的局部特征， 这使得CNN对图像识别等任务非常有效。一个典型的卷积神经网络由以下几种类型的层组成：卷积层， 激活层和池化层。卷积神经网络的一个关键优点是它可以利用空间数据的局部性质。在图像或视频等数据中，相邻的像素通常具有高度的相关性，因此可以用一个卷积核在整个数据上共享，大大减少了模型的参数数量。这使得CNN比全连接网络在处理大规模空间数据时更加有效和高效。 7.1.4 循环神经网络循环神经网络（Recurrent Neural Network，RNN）是一类用于处理序列数据的神经网络。与前馈神经网络（如全连接网络和卷积神经网络）不同，循环神经网络在模型结构中引入了循环，使得网络能够处理长度可变的序列输入，并保持对序列中过去信息的记忆。尽管循环神经网络理论上能够处理任意长度的序列，但在实践中，它们常常会遇到长期依赖问题模型难以学习到输入序列中距离当前时间步较远的信息。为了解决这个问题，研究者们提出了各种改进的循环神经网络结构，如长短期记忆网络（Long Short-Term Memory，LSTM）和门控循环单元（Gated Recurrent Unit，GRU）。循环神经网络在许多任务上都表现出色，包括语言建模、文本生成、机器翻译、语音识别、时间序列预测等。 7.1.5 TransformerTransformer是一种使用自注意力机制和位置编码的神经网络架构，适用于自然语言处理任务。它解决了传统神经网络模型在处理序列数据时的一些限制，能够处理长距离依赖关系并具备更好的并行计算能力。在Transformer中，输入序列被分别编码成两个向量：查询（query）向量和键值对（key-value pairs）向量。通过计算查询向量和键值对之间的注意力得分，可以为每个查询分配与之相关的值。另外，Transformer还引入了位置编码，用于为输入序列中的每个位置赋予一个相对或绝对位置信息。位置编码可以帮助模型理解输入序列中不同位置的相对距离和顺序。 7.1.6 EmbeddingEmbedding层是一种将离散的输入（如词或标记）映射到连续向量空间中的技术。它将输入的离散符号转换为密集的实数向量，使得神经网络能够更好地处理和学习输入数据的语义信息。Embedding层的目标是学习出一种表示，使得具有相似语义的符号在向量空间中更加接近。这样，模型可以利用向量之间的距离或相似度来捕捉输入之间的语义关系。Embedding层的好处是能够将高维的离散输入转换为低维的连续向量，从而减少了输入空间的维度，并且能够更好地表达和处理输入数据的语义信息。它在自然语言处理、推荐系统、图像处理等领域中被广泛应用。 7.1.7 （时空）图神经网络7.1.7.1 图卷积神经网络：传统的卷积神经网络只能处理欧式数据类型，而非欧式的图关系在现实中 变得越来越常见，为处理非欧式数据计算设计的图卷积网络非常适合各类交通数据。图卷积计算方法主 要有谱域图卷积和空域图卷积。谱域图卷积的定义为通过从图信号处理的角度引入滤波器来定义图卷积， 其中图卷积运算被解释为从图信号中去除噪声。空域图卷积的定义为通过图卷积公式从邻居节点聚合节 点特征。 交通数据的空间关系复杂，也使得图卷积网络从普通构造逐渐发展演变出多种变体： a) 单图卷积：最初始发展出的谱域图卷积或者空域图卷积版本； b) 多图卷积：多种邻接矩阵作为图的空间表示，多个图卷积模块提取特征后聚合特征； 习长远距离的图节点也有机会参与到空间特征提取过程中； e) 动态自适应多图卷积：集成了多图策略，自适应学习策略和图卷积的一种综合体； 意f) 偏微分图卷积：上述各类图卷积仅仅是考虑的空间层面的影响，未考虑到不同时间片的状态使影响。引入偏微分使得不同时间片的图卷积操作可以上下文呼应，使得图卷积也变得可以持续学习。 7.1.7.2 图生成神经网络（Graph Generative Neural Network）是一类基于深度学习的图生成模型， 用于生成符合特定条件的图结构。与传统的图生成方法相比，图生成神经网络能够自动学习特征表示和生成规则，不需要手工设计特征和生成算法，因此具有很大的灵活性和适用性。图生成神经网络主要包括基于图神经网络和基于变分自编码器（Variational Autoencoder, VAE）的两类模型。基于图神经网络的模型是一种基于图卷积网络（Graph Convolutional Network, GCN）的图生成模型，基于 VAE 的模型是一种基于概率模型的图生成模型。 7.2 不同数据类型对应的经典模型7.2.1 交通静/动态数据、环境数据交通静/动态数据和环境数据通常可以被表示为一个高维向量，其中T代表着时间序列的长度，N代表着城市划分成的区域个数，d代表着特征的维度。这个向量通常可以被表示成一个网格状或图状数据结构，因此无论是全连接网络，卷积神经网络，循环神经网络，Transformer还是图神经网络都可以应用在这些数据上进行数据特征提取，一些经典的特征提取模型如下： a) 卷积神经网络：CNN，ResNet，DenseNet，ST-ResNet，DeepSTN+； b) 循环神经网络：RNN，LSTM, GRU, TPA-LSTM, LST-Net； c) Transformer：ST-Transformer，AirFormer； d) 图神经网络：ST-GCN, T-GCN, Graph WaveNet。 7.2.2 视觉数据视觉数据（图片或视频）的特征提取是一个被广泛研究的领域，其模型架构主要基于卷积神经网络及其变种。当将图片或视频数据像文本数据那样分成一块一块之后，Transformer及其变种也可以顺利地运用在视觉数据上。通常来讲，Transformer类模型在视觉特征提取上具有更好的效果。下面是一些视觉数据的经典特征提取模型： a) 卷积神经网络：CNN，AlexNet，VGG，ResNet，DenseNet，EfficientNet, Faster-RCNN； b) Transformer：DETR, ViT, SwinTransformer。 7.2.3 文本数据文本数据由于其前后高度的序列相关性，最开始人们主要使用循环神经网络对其进行特征提取，在Transformer出现之后，基于Transformer提出的变种模型开始成为主流文本特征提取器。下面是一些文本数据的经典特征提取模型： a) 循环神经网络：RNN, LSTM, GRU, Bi-LSTM； b) Transformer： BERT，GPT, RoBERTa； c) Embedding：Word2Vec，GloVe。 7.2.4 个人数据在智慧交通多模态融合机器学习大模型的框架下，具有个人特性的数据可以帮助机器学习模型在作决策时更加的个性化，从而更好的服务于不同类型的客户。常用的个人数据特征提取模型主要是基于Embedding层，其余类型的模型只是发挥辅助获取个人信息的作用（例如：提取文本信息特征以获取个人数据）。 a) 循环神经网络：RNN, LSTM, GRU, Bi-LSTM； b) Transformer： BERT，GPT, RoBERTa； c) Embedding：Word2Vec，GloVe。 7.3 特征融合方法7.3.1 特征融合必要性在对多模态数据分别进行特征提取之后，多模态大模型需要进行特征融合，以此对不同模态数据进行充分的了解和分析。 7.3.2 特征拼接拼接（Concatenation）：这是最简单的融合方法，就是将来自不同模态的特征向量直接在一起。例如，如果我们有图像特征向量A（长度为100）和文本特征向量B（长度为200），我们可以将它们拼接在一起，得到一个新的特征向量（长度为300）。这种方法的优点是简单易实现，但缺点是它并不能捕捉到不同模态之间的交互和关联。 7.3.3 加权求和加权求和（Weighted Sum）：这是另一种简单的融合方法，就是将来自不同模态的特征向量加权求和。权重可以是固定的，也可以是可学习的。这种方法可以捕捉到一定程度的模态间交互，但可能仍然不足以处理复杂的模态间关系。 7.3.4 特征相乘乘法（Multiplication）：这种方法将来自不同模态的特征向量进行元素级的乘法。这种方法可以捕捉到模态间的非线性交互，但计算复杂度可能较高。 7.3.5 特征相乘乘法（Multiplication）：这种方法将来自不同模态的特征向量进行元素级的乘法。这种方法可以捕捉到模态间的非线性交互，但计算复杂度可能较高。 7.3.6 融合网络融合网络（Fusion Network）：这种方法使用一个神经网络（如全连接网络或卷积网络）来融合不同模态的特征。这种方法可以捕捉到复杂的模态间交互，但需要更多的计算资源和数据来训练。 7.3.7 特征外积特征外积（Outer Product）：该方法通过计算两个模态之间的外积来捕捉模态间的交互，然后使用降维技术（如PCA）来减小计算复杂度。这种方法能够捕捉模态间复杂的相互作用，但计算开销较大。 7.3.8 注意力机制注意力机制（Attention Mechanism）：注意力机制可以根据不同模态的重要性来分配不同的注意力权重。这种方法可以动态地调整不同模态的贡献，因此在很多任务中表现优异。然而，这种方法的计算复杂度较高，并且需要足够的数据来训练。 7.3.9 DCCADeep Canonical Correlation Analysis (DCCA)：DCCA 是一种优化算法，用于寻找多个数据视图之间的相关性。在多模态学习中，DCCA 可以用来最大化不同模态之间的相关性。 7.4 学习策略7.4.1 集中学习策略集中学习策略（Centralized Learning Strategy）是一种机器学习模型训练的策略，它是在一个中央服务器上进行的，其中所有的数据都被集中在同一地点，并由该服务器处理和存储。在这种情况下， 模型可以访问所有数据，并使用更多的数据进行训练，从而提高模型的准确性和性能。集中学习策略的少泄数据中 ， 动设略。域） 资源别是个任习和力和视图比学以减性，的任在同习和收到理大7.5战，具体7.5.1 预训练与微调在现实大数据集上预训练好的模型通常具有更好的泛化能力和鲁棒性，利用好公开的预训练模型会比重新进行一次模型训练更加的便捷和有效。对于多模态数据而言，我们可以考虑先单独预训练每种模态的模型，然后将预训练的模型作为初始化，进行多模态模型的微调训练。这样可以在一定程度上缓解数据不平衡的问题，并利用单模态数据的丰富信息。 7.5.2 多模态数据增强数据增强是一种通过创建原始数据集的修改版本来增加数据量的技术。这种方法在机器学习和深度学习领域中被广泛使用，尤其是在处理图像、音频和文本等数据时。数据增强的主要目的是提高模型的性能和稳健性。例如，在图像数据操作中经常通过各种方式（如旋转，裁剪，翻转，缩放，颜色变化等） 修改图像以增加数据集的大小和多样性。对于多模态数据，可以对每种模态的数据单独进行数据增强， 也可以尝试进行跨模态的数据增强。 7.5.3 训练正则化包括L1，L2正则化，dropout等方法也可以防止模型过拟合，提高模型的泛化能力。 7.5.4 学习率调整包括学习率衰减，cyclic learning rate等，可以帮助模型更好地收敛，防止优化在局部最优解处停止。 7.5.5 交叉模态学习学习一个模态的表示，同时利用其他模态的信息。例如，可以使用图像来增强文本理解，或者反之。这种方法可以增强每个模态的表示，并使模型能够更好地利用互补信息。常用的交叉模态学习方法包括联合嵌入学习，典型相关分析和对抗训练等。 7.5.6 模态平衡在多模态模型学习中，一个普遍的问题在于模型容易过度依赖于某一模态，同时忽略其它模态的作用，降低整体模型的性能。常用的模态平衡的方法包括使用模态平衡损失函数，利用辅助模型等。同时数据增强和对抗训练也具有帮助模态平衡的作用。 7.6 预测回归/分类方法7.6.1 预测回归/分类方法的选择在我们充分学习了多模态数据的表示之后，我们可以利用学到的数据表示进行预测任务（包括回归和分类），在这一步传统的机器学习和深度学习模型都可以被运用，具体选择取决于应用场景。 7.6.2 支持向量机支持向量机（Support Vector Machine, SVM）是一种经典的监督学习算法，广泛应用于分类、回归和异常检测等领域。SVM 的基本思想是在特征空间中构造一个最优超平面，将不同类别的样本分开。具体来说，SVM 在训练数据中寻找一个超平面，使得在超平面上离它最近的样本点到该超平面的距离最大，这个距离被称为“间隔”（margin）。这个过程可以转化为求解一个二次规划问题，可以使用各种优化算法进行求解。 7.6.3 随机森林随机森林（Random Forest）是一种基于决策树的集成学习算法，可以用于分类、回归和特征选择等任务。随机森林是由多棵决策树组成的集成模型。在随机森林中，每棵决策树的训练数据是从原始数据集中随机采样得到的，同时每个节点的特征也是从原始特征集合中随机选择一部分特征进行评估，这样可以减少决策树的过拟合风险。在随机森林中，最终的分类结果是由所有决策树的结果投票决定的。 7.6.4 梯度提升树梯度提升树（Gradient Boosting Tree）是一种基于决策树的集成学习算法，通过将多棵决策树相加来提高模型的预测能力。与随机森林不同，梯度提升树是一种序列化的算法，每棵树都是在上一棵树的残差基础上构建的。在梯度提升树中，每棵树的训练数据是根据上一棵树的预测结果和真实值之间的残差来计算的。每棵树都是在减小上一棵树的残差的基础上构建的，因此最终的预测结果是所有树的结果之和。 7.6.5 Adaboost 树ree）是一种集成学习模型，通过多个弱分类器的组合来构建一个强分类器。 在AdaBoost树模型中，每个弱分类器的训练数据都是根据前一个弱分类器的错误率来确定的，即对错误分类的样本进行加权，以使得下一个弱分类器能够更加关注这些难分类的样本。 7.6.6 EM 算法EM算法（Expectation-Maximization Algorithm）是一种常见的统计学习方法，用于解决含有隐变量的概率模型的参数估计问题。其基本思想是，通过对数据进行观察，得到数据的概率分布，从而推断出模型的参数。EM算法分为两步，分别是Expectation步骤和Maximization步骤。 7.6.7 聚类算法聚类算法是一种无监督学习算法，它将相似的样本归为一类，不同的样本归为不同的类别。聚类算法主要用于探索数据的内部结构，寻找数据中的模式和规律，以及帮助人们理解数据的本质特征。常见的聚类算法有以下几种： a) K 均值聚类算法：将数据集分成 K 个簇，每个簇由与其它样本距离最近的点组成； b) 层次聚类算法：将样本逐层划分成簇，形成一个树形结构，可以按照需要截取不同的簇； c) 密度聚类算法：根据数据点的密度来进行聚类，同一簇内的点密度要大于一定阈值，不同簇之间的密度要有明显差异； d) 均值漂移聚类算法：基于样本点密度的梯度方向不断迭代，直到所有样本点都收敛到密度最大的点上； e) DBSCAN 聚类算法：基于样本点的密度，将样本点分为核心点、边界点和噪声点，并通过核心点的连通性来划分簇。 7.6.8 神经网络预测除了使用传统机器学习方法，深度神经网络同样可以利用学习到的数据表示进行预测任务。常见的神经网络模型介绍见7.1.2-7.1.7。 7.7 评价指标7.7.1 RMSE 均方根误差该指标对应于平方误差的预期值，公式见（1）。 𝑅𝑆𝐸(𝑦, 𝑦) = 1 𝑁(𝑦 𝑦)2 (1) 式中：𝑦𝑖 预测值； 𝑦𝑖 真实值； 预测节点个数。 7.7.2 MAPE 平均绝对百分比误差𝑁 𝑖=1 𝑖𝑖该指标是对相对误差损失的预期值，也即是绝对误差和真值的百分比，公式见（2）。 𝐴𝑃𝐸(𝑦, 𝑦) = 1 𝑁 |𝑦𝑖𝑦𝑖| (2) 式中：𝑦𝑖 预测值； 𝑦𝑖 真实值； 预测节点个数。 7.7.3 KL 离散度𝑁 𝑖=1|𝑦𝑖|KL离散度是一种衡量两个概率分布之间差异的度量方式，公式见（3）。 𝐾L = 𝑥 𝑃(𝑥) (log 𝑃(𝑥) log 𝑄(𝑥)(3) 式中：𝑃(𝑥)𝑃在x处的概率密度函数； 𝑄(𝑥)𝑄在x处的概率密度函数。 7.7.4 交叉熵交叉熵是一种用来衡量两个概率分布之间相似度的度量方法。通常用来衡量分类模型的预测结果与真实标签之间的差异，公式见(4)。 𝐶𝐸 = 𝑥 𝑃(𝑥) log 𝑄(𝑥)(4) 式中：𝑃(𝑥)𝑃在x处的概率密度函数； 𝑄(𝑥)𝑄在x处的概率密度函数。 7.4.5 精确率该指标是分类器预测的正样本中预测正确的比例，取值范围为0,1，取值越大，模型预测能力越好。公式见（5）。 𝑃 = 𝑇𝑃/(𝑇𝑃 + 𝐹𝑃) (5) 式中：𝑇𝑃 预测正样本正确； 𝐹𝑃 预测正样本错误。 7.4.6 召回率该指标是分类器所预测正确的正样本占所有正样本的比例，取值范围为0,1，取值越大，模型预测能力越好。公式见（6）。 𝑅 = TP/(𝑇𝑃 + 𝐹)(6) 式中：𝑇𝑃 预测正样本正确； 𝐹 预测负样本错误。 8 基于机器学习的智慧出行多模态大模型应用场景8.1 应用场景图示得益于较强的多源数据融合和分析能力，基于机器学习的智慧出行多模态大模型在现实中有着非常广泛的应用前景，本规范难以一一列举。在此仅展开介绍部分常见应用场景，分别服务于普通用户和政府管理部门，详情请见图2。 8.2 8.2实时导航图2 基于机器学习的智慧出行多模态大模型的应用场景对于用户而言，智能的实时路线导航是多模态大模型在出行方面最基础的功能。通过利用大数据和机器学习技术，为用户提供最优、最准确的导航服务。简单来讲，智能的实时导航功能的实现主要包括以下几个方面： 方来这行通8.3预在现代社会中，人们的出行通常是一种多模态的选择，即人们会使用多种交通工具，例如公交车、地铁、自行车等。机器学习模型可以根据乘客的出行目的、时间限制、偏好等，推荐最优的出行方案。例如，如果一个乘客想要从地点A去到地点B，模型可能会建议他先乘坐公交车到地点C，然后换乘地铁到地点D，最后骑自行车到地点B。具体来讲，该应用的实现主要包括以下几点： a) 获取和分析数据：多模态出行规划需要大量的数据，包括各种交通工具的时刻表、运行状态、位置等，以及乘客的出行需求、偏好等。这些数据可以从多种来源获取，例如公共交通系统、共享出行服务、交通监测设备等； b) 预测交通状况：基于历史数据和实时数据，机器学习模型可以预测未来的交通状况，例如预测各种交通工具的准点率、拥堵情况等。这些预测结果可以作为出行规划的输入； c) 规划最优路径：根据乘客的出行需求（例如起点、终点、出行时间等）和预测的交通状况， 可以使用优化算法（例如 Dijkstra 算法、A*算法等）规划最优的出行路径。这个路径可能包括多种交通工具，例如公交车、地铁、自行车等； d) 提供动态调整：在乘客出行过程中，如果交通状况发生变化（例如某个交通工具延误或拥堵）， 机器学习模型可以根据新的状况动态调整出行方案； e) 个性化服务：通过学习乘客的出行历史和偏好，机器学习模型可以提供个性化的出行规划服务。例如，对于偏好舒适性的乘客，模型可能会推荐少换乘的方案；对于偏好速度的乘客， 模型可能会推荐更快但可能需要多换乘的方案。 8.4 道路安全通过分析交通事故数据、天气状况、驾驶员行为等，机器学习模型可以预测并警示潜在的安全风险。例如，预测某些路段在雨天或雪天时的事故风险。简单而言，这方面的应用可以从以下多种因素方面进行考虑： a) 交通事故预测：通过分析历史的交通事故数据，机器学习模型可以学习到事故发生的模式和规律，从而预测未来的事故风险。这个过程可能会考虑许多因素，例如路段特性（如路宽、路型、路面状况等）、交通流量、驾驶行为等。预测结果可以用来警示驾驶员，也可以用来指导交通管理部门的决策（例如优化交通信号控制，改善路段设计等）； b) 天气影响分析：天气状况是影响交通安全的重要因素。例如，雨天和雪天可能会导致路面湿滑，降低视线，增加事故风险。通过分析天气数据和交通事故数据，机器学习模型可以学习到天气对交通安全的影响，并预测在特定天气条件下的事故风险； c) 驾驶行为分析：驾驶行为是影响交通安全的另一个重要因素。通过分析用户驾驶行为数据（例如驾驶速度、车道变换、制动行为等），机器学习模型可以识别出