GB∕T 40691-2021 人工智能 情感计算用户界面 模型.pdf

书 书 书犐 犆犛 犆犆犛犔 中 华 人 民 共 和 国 国 家 标 准犌犅犜 人工智能情感计算用户界面模型犃狉 狋 犻 犳 犻 犮 犻 犪 犾犻 狀 狋 犲 犾 犾 犻 犵 犲 狀 犮 犲犃 犳 犳 犲 犮 狋 犻 狏 犲犮 狅犿狆 狌 狋 犻 狀 犵狌 狊 犲 狉犻 狀 狋 犲 狉 犳 犪 犮 犲犕狅 犱 犲 犾 发布 实施国 家 市 场 监 督 管 理 总 局国 家 标 准 化 管 理 委 员 会发 布目次前言范围规范性引用文件术语和定义模型 情感特性 通用模型 基于情感计算用户界面的交互模型 情感表示 概述 离散情感类别 情感空间维度 情感数据采集 概述 情感数据 情感识别 概述 情感识别功能 情感特性识别 识别结果 情感决策 概述 使用语境 推理 决定 情感表达 概述 表达的模态附录（资料性）情感计算用户界面应用实例 附录（资料性）情感计算用户界面标准化的内容 参考文献 犌犅犜 前言本文件按照 标准化工作导则第部分：标准化文件的结构和起草规则的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由全国信息技术标准化技术委员会（ ）提出并归口。本文件起草单位：中国科学院软件研究所、中国电子技术标准化研究院、上海智臻智能网络科技股份有限公司、中国科学院自动化研究所、中国科学院心理研究所、深圳市优必选科技股份有限公司、科大讯飞股份有限公司、北京科技大学、中国电信集团有限公司、北京师范大学、哈尔滨工业大学、上海天臣微纳米股份有限公司、中科讯飞互联（北京）信息科技有限公司、北京电信规划设计院有限公司、北京中科院软件中心有限公司、上海木木机器人技术有限公司、南京云问网络技术有限公司、天津师范大学、泾丰科技（深圳）有限公司、浪潮软件科技有限公司、北京九天微星科技发展有限公司、中国医学科学院生物医学工程研究所、东南大学、南京工程学院、安徽淘云科技有限公司、南京师范大学心理学院、江西中医药大学、中国科学院深圳先进技术研究院、维知科技张家口有限责任公司、阿利昂斯汽车研发（上海）有限公司。本文件主要起草人：王宏安、徐洋、朱频频、陈辉、王慧、李志浩、陶建华、刘烨、马万钟、熊友军、杨震、解仑、袁杰、袁辉、陈鹏、李海峰、陶维平、鲍薇、马骋昊、刘斌、金文婷、王钰、刘超、任军民、梁恒康、杜振东、赵子平、潘榕、蒲江波、王豫宁、王莲、郝芳、赵力、谢跃、刘庆升、申寻兵、王功明、王岚。犌犅犜 人工智能情感计算用户界面模型范围本文件给出了基于情感计算用户界面的通用模型和交互模型，描述了情感表示、情感数据采集、情感识别、情感决策和情感表达等模块。本文件适用于情感计算用户界面的设计、开发和应用。规范性引用文件本文件没有规范性引用文件。术语和定义下列术语和定义适用于本文件。 情感犪 犳 犳 犲 犮 狋用户对感知信息产生的主观感觉所产生的反应。注：情感是多种感觉、思想和行为综合产生的心理和生理状态。注：情感产生于内部动机和外部环境刺激。注：情感有三个成分：主观体验、外部表现和生理唤醒。注：情感有四个特性：通用特性、文化特性、个体特性与情境特性。注：情感可以描述用户的情绪、倾向、喜好、个性等。 情绪犲犿狅 狋 犻 狅 狀人在某种事件或情境的影响下，在一定时间内所产生的主观体验或表达。示例：开心、悲伤、恐惧、惊讶。注：情绪是多种复杂的感觉、思维和行为表现综合产生的生理与心理状态。 情感交互犪 犳 犳 犲 犮 狋 犻 狏 犲犻 狀 狋 犲 狉 犪 犮 狋 犻 狅 狀利用用户情感或满足用户情感需求的人机交互过程。 情感计算犪 犳 犳 犲 犮 狋 犻 狏 犲犮 狅犿狆 狌 狋 犻 狀 犵在人机情感交互过程中，信息系统对用户情感的采集、识别、决策和表达。 情感计算用户界面犪 犳 犳 犲 犮 狋 犻 狏 犲犮 狅犿狆 狌 狋 犻 狀 犵狌 狊 犲 狉犻 狀 狋 犲 狉 犳 犪 犮 犲用户与信息系统进行情感交互的界面。 情感表示犪 犳 犳 犲 犮 狋 犻 狏 犲狉 犲 狆 狉 犲 狊 犲 狀 狋 犪 狋 犻 狅 狀对情感进行形式化描述的方法。犌犅犜 情感类别犪 犳 犳 犲 犮 狋 犻 狏 犲犮 犪 狋 犲 犵 狅 狉 狔某种可被信息系统识别或表达的情感种类。 情感空间犪 犳 犳 犲 犮 狋 犻 狏 犲狊 狆 犪 犮 犲多个可表示为一组情感特性的组合。 情感维度犪 犳 犳 犲 犮 狋 犻 狏 犲犱 犻 犿犲 狀 狊 犻 狅 狀用于描述情感的主观体验的基本特性。 情感数据犪 犳 犳 犲 犮 狋 犻 狏 犲犱 犪 狋 犪从用户处采集的、参与情感计算的数据。 情感识别犪 犳 犳 犲 犮 狋 犻 狏 犲狉 犲 犮 狅 犵 狀 犻 狋 犻 狅 狀通过分析和处理情感数据，得到用户情感状态的过程和方法。 情感分类犪 犳 犳 犲 犮 狋 犻 狏 犲犮 犾 犪 狊 狊 犻 犳 犻 犮 犪 狋 犻 狅 狀将情感数据分成情感类别的过程。 情感表达犪 犳 犳 犲 犮 狋 犻 狏 犲犲 狓 狆 狉 犲 狊 狊 犻 狅 狀信息系统进行情感生成并呈现的过程。 使用语境犮 狅 狀 狋 犲 狓 狋狅 犳狌 狊 犲用户、目标、任务、资源和环境的结合。注：“环境”包括技术环境、物理环境、社会环境、文化环境和组织环境。注：“用户”包括用户基本信息资料等，通过用户配置体现。注：“资源”包括采集设备（如摄像头和麦克风） 、存储设备（如硬盘等） ，以及计算设备等。模型 情感特性在与信息通信技术系统交互的过程中，一系列情感特性（包括文化和情绪）决定着用户的行为和需求。本文件提供的模型适用于所有类型的情感特性，并没有具体限定某种特定的情感特性。 通用模型情感计算用户界面是一种与用户情感需求和情感特性进行交互的用户界面。情感计算用户界面处理过程包括情感特性数据的收集、识别、决策和表达。用户根据基于情感的系统提供的反馈调整情感，并与系统展开进一步的交互（见图） 。情感表示提供了情感计算用户界面中对于情感的统一描述。图由三部分组成：认知空间、情感计算用户界面组件和信息空间。认知空间包括至少一位用户。情感计算用户界面组成部分包括四个组件，分别为情感特性数据的收集、识别、决策和表达。通过情感计算用户界面各个组成部分，认知空间和信息空间进行交互。其中，犌犅犜 一种交互由用户指向计算系统，表示由用户向系统进行输入。另一种交互由计算系统指向用户，表达系统为用户提供反馈。情感表示为情感计算用户界面模型的四大组件提供了基础。图情感计算用户界面的通用模型 基于情感计算用户界面的交互模型情感计算用户界面可以支持基于情感计算的交互过程。图展示的人机交互模型运用了情感计算用户界面，涉及两个环路。其中，图 ）给出了计算系统视角下的用户流程，图）为用户视角下的计算系统流程。犪）环路：计算系统视角下的用户流程图基于情感计算用户界面的交互模型犌犅犜 基于情感表示的情感计算用户界面组件认知空间信息空间数据采集情感识别 ￥| 情感表达情感决策用户计算系统情感特性数据A 数据采集t*;Q;: 情感行动认知空间(用户)I 计算系统犫）环路：用户视角下的计算系统流程注：环路：如图）所示， “计算系统视角下的用户流程”展示了在信息空间中看待和处理人类情感的方式。用户的信息输入有多种类型，例如语音、表情和手势。计算系统首先在采集环节收集来自用户的情感特性数据，然后在识别环节识别各种人类情感，在决策环节产生情感行动，最后在表达环节执行上述行动。注：环路：如图）所示， “用户视角下的计算系统流程”展示了用户如何看待来自计算系统的输出。在认知空间，用户处理系统输出，用以感知和理解情感，然后决定采取某种情感来采取行动，作为对于系统的反馈，以开启新一轮情感计算用户界面交互。这一循环中的认知、理解、决定和行为分别对应环路中的采集、识别、决策和表达。注：附录提供了一个情感计算交互模型应用实例。注：附录给出了实现该模型的可能的标准化主题。图基于情感计算用户界面的交互模型（续） 情感表示 概述情感表示对人机交互过程中可以被信息系统处理的用户情感进行规范化统一描述。情感可以由离散情感类别和情感空间维度来描述。 离散情感类别离散情感类别可以按照多种分类方法进行分类。示例：如果按照情绪进行分类，情感可以分为开心、悲伤、惊讶等；如果按照态度进行分类，情感可以分为支持和反对；如果按照注意力进行分类，情感可以分为关注和走神等。离散情感类别可以由任何一个离散情感类别或多个离散情感类别的组合来描述。示例：喜极而泣是开心和哭泣两种情感类别的组合。不同的离散情感类别或不同离散情感类别的组合都会导致不同的用户行为和需求。 情感空间维度不同的情感维度的组合对应不同的情感空间。每个情感空间维度应具有取值范围，情感空间维度数值可位于该取值范围内的任意位置。任何情感可以通过一组数值进行表示。这组数值代表了这个情感在情感空间中的位置。不同情感之间是连续过渡的，利用空间中的距离可以度量不同情感之间的差异度与相似度，而且可以度量相同情犌犅犜 行为(情感表达)信息空间(计算系统)L一一一一-被认知的情感决定的情感用户被理解的情感决定(情感决策)感的不同程度的强弱。示例：在（ ）情感空间中， 是效价，代表情感的正负特性即情感的积极或消极程度，喜欢或不喜欢程度，这个维度体现了情感的极性，一般的取值范围在， ，值“”代表非常消极，相反， “”代表非常积极； 是唤醒度，代表情感的神经生理激活水平，一般的取值范围在， ，值“”代表非常冷静，相反， “”代表非常兴奋。空间中的数值点（ ， ）是基于情感空间中连续表示的效价（ ）与唤醒度（ ）的数值来表示的。 情感数据采集 概述情感数据采集是情感计算用户界面通过多模态的传感器或者其他设备获取用户的行为数据以及神经生理和心理数据的过程。情感数据包括反映用户外部表现的行为数据，以及反映用户生理状态数据与心理的数据。 情感数据 概述情感数据包括反映用户外部表现的行为数据，以及反映用户生理状态数据与心理的数据。 数据类型情感数据类型包括静态情感数据和动态情感数据。静态情感数据可以记录某一时刻用户的情感，例如静态图像。动态情感数据可以记录用户在一段时期内的连续行为，例如视频或音频。动态情感数据流反映了情感的动态变化过程。 模态和媒体情感数据模态主要包括行为数据模态、神经生理和心理数据，其中行为数据模态主要包括视觉、听觉和触觉。每种模态可以采用多种媒体类型，情感数据可基于一种或多种模态。表和表中分别给出了采用特定模态的信息和媒体类型描述。表信息输入的模态和媒体类型采用特定模态的信息模态包括以下全部或一种或多种：视觉，听觉，触觉，神经生理和心理数据犌犅犜 表信息输入的模态和媒体类型（续）采用特定模态的信息媒体类型包括以下全部或一种或多种：图像，视频，姿态，书面文字，口头文字，触觉文字，面部表情，音乐，语音，其他声音，基于电信号的神经生理与心理信号，基于非电信号的神经生理与心理信号表媒体类型和描述媒体类型描述图像由系统展示或由用户载入系统的静态图像（包括用户面部表情图像、姿势和文字）视频由系统展示或由用户载入系统的动态图像序列姿态用户表达观点或意思的动作书面文字以静态或动态的书面符号呈现的基于语言的文字媒体，通常由系统通过屏幕输出或由用户通过键盘输入口头文字一种由用户或系统口述的基于文字的媒体触觉文字一种以静态或动态方式呈现的基于语言的触觉符号媒体，通常由系统通过屏幕输出或由用户通过键盘输入面部表情经观察得到的反映一种或多种面部皮肤下肌肉运动或位置的面部活动音乐由系统或用户发出的、具有一定旋律、和声或节奏并按照时间顺序排列的声音语音某一给定自然语言的话音模式，或模拟这类模式的声学信号其他声音除音乐和语音外，任何能被系统或用户听见的媒体，不一定有对应意义基于电信号的神经生理与心理信号对生物细胞、组织或器官的电压变化、电流变化或操纵的测量基于非电信号的神经生理与心理信号除基于电信号的神经生理与心理信号之外的神经生理与心理信号，通常包括机械、光学、声学、化学和热力学生物信号等犌犅犜 情感识别 概述情感识别是通过分析情感数据的模式和规律对用户情感进行识别的过程。图展示了情感识别的流程。注：图包括三个部分：情感数据、情感识别和已识别的情感状态。情感数据涉及四种数据模态：视觉、听觉、触觉与神经生理和心理数据。在情感识别过程中，各种识别方法基于数据模态处理情感数据。已识别的情感状态可通过情感分类进行归类，或通过度量得到维度情感空间中的数值。图情感识别流程图 情感识别功能情感识别模块识别用户情感特性。这些模块通过不同模态处理情感数据。注：针对不同的模态，情感识别过程可能随特定的媒体类型而变化。情感识别通过分析处理情感数据，识别用户的情感状态。情感识别模块的功能包括：）情感分类：在离散空间中将用户情感归于某个或多个情感类别。注：输入信息是情感数据（见 ） ，输出信息是一种或多种情感类别。）情感度量：在维度情感空间中对用户情感进行赋值。注：输入信息是情感数据（见 ） ，输出信息是维度情感空间中的情感数值。情感分类和情感度量相互独立，可以单独选择情感分类或情感度量进行情感识别，也可以同时通过情感分类和情感度量进行情感识别。 情感特性识别情感特性识别可能涉及：）情感特性分类：识别所有信息输入并将其归入情感特性类别。注：信息输入是情感数据（见 ） 。信息输出是指定情感特性类别的一种或多种类别。）情感特性度量：在维度情感空间中对所有信息输入赋值。注：信息输入是情感数据（见 ） 。信息输出是维度情感空间中的值。情感特性的分类和度量应该相互独立，并且通常只选择其中一种。 识别结果情感识别有两种可能的结果：犌犅犜 视觉/视频数据听觉/音频数据触觉/力触觉数据神经生理和心理数据情感数据基于视觉数据的情感识别基于听觉数据的情感识别基于触觉数据的情感识别基于神经生理与心理数据的情感识别片多时合|情感数据识别己识别的情感状态）情感特性类别；）维度情感空间中的值。 情感决策 概述情感决策旨在信息系统通过决策模块选择表达的情感，从而进行情感表达。决策模块将已识别情感和使用语境作为输入。决策模块由推理和决定两个部分组成，见图。注：进入决策模块的输入包括已识别的情感状态和使用语境。情感计算用户界面中最常用的使用语境要素有：用户资料、目标、采集设备和环境。决策模块通过“推理”子模块产生推理出的意图，然后在“决定”子模块中，根据推理出的意图和使用语境产生要进行的活动。决策模块的输出是通过信息系统执行的情感生成，为情感表达提供输入。图决策模块 使用语境在情感计算用户界面中，使用语境主要关注用户资料、目标、采集设备和环境。）用户资料：与特定个体用户相关的个人数据。）目标：预期输出。）采集设备：采集情感数据的输入设备。）环境：影响可用性的技术、物理、社会、文化和组织环境。 推理 概述推理的核心是根据识别的用户情感和使用语境得到用户意图。 推理的意图推理得到的意图是一组用户需求。犌犅犜 已识别的情感决策使用语境z一一用户资料目标一一采集设备环境选择的表达情感推理得到的意图可能是交互意图或情感意图或两者兼有。）交互意图：用户的一种明确的行为需求（例如用户问一个特定的问题或要求一种特定的服务） 。）情感意图：用户对情感回应或情感调节的需求（例如，如果用户紧张地咨询一个问题，他她期望的情感回应可能是抚慰） 。 决定决定是一种根据推理出的意图、使用语境识别和选择执行活动以实现特定目标的过程。注：不同的活动组合可以为实现同一目标提供不同方式。决定旨在选择可供信息系统执行的一系列表达情感，以进行情感表达。注：选择的表达情感需得到广泛认可和理解。 情感表达 概述情感表达的目标是为了根据选择表达的情感通过输出设备以不同的情感呈现方式向用户传达与表达情感。情感表达包含情感的生成与呈现两个步骤。情感生成的输入情感决策的结果：待生成的情感，结果为情感的表达方式。情感呈现的输入情感的表达方式，通过情感生成接口控制参数，并使用呈现设备向用户输出相应的情感。 表达的模态表达的模态包括视觉、听觉和触觉。每一个模态的数据或者媒体类型可以通过输出设备呈现，例如，视频和图片可以在显示器等设备上展示，而声音可以通过扬声器表现（如表所示） 。表表达的输出方式模态设备媒体类型视觉显示器图片，视频，姿态，面部表情，书面文字，仿生机器人等听觉扬声器音乐，声响，语音，口头文字触觉电刺激器或振动装置基于电信号的神经生理与心理信号，基于非电信号的神经生理与心理信号注：表达模态和媒体类型的选择是场景相关的。注：其他的模态和媒体类型在某些情况下也可以用于呈现，例如，触觉模态和触觉文字媒体类型。注：设备包含但不限于表内容。犌犅犜 附录犃（资料性）情感计算用户界面应用实例犃 概览本附录展示了一款基于情感计算用户界面交互模型的应用程序，阐述了所有情感计算用户界面模块如何统一协作的方式，并且说明了情感计算用户界面标准在某个特定的情境下的定义方式和应用方法。本附录详细说明了一款以用户情绪体验为基础的情感计算用户界面模型在某聊天工具虚拟客服（一种实施在智能手机上的即时通信平台）的应用。情感计算用户界面应用实例见图 。犃 用户用户是在该聊天工具上使用某金融机构或公司虚拟客户服务来接受微笑服务的客户。用户可以通过视觉、听觉、触觉或者神经生理或心理学信号等模态来与该系统交互，其媒体类型可以为书面文字、口头文字、声音，以及音乐和面部表情等。注：用来交互的模态根据当前应用场景的不同而变化。在此例中，交互模态和媒体类型仅为该平台支持的类型。犃 情绪表示在该聊天工具上的虚拟客服的情感表示可以为离散情感类别。在此应用场景中，其情感类别可以分为“喜悦” “悲伤” “愤怒” “惊讶” “恐惧”等。犃 数据集该应用数据集在实际使用前对整个系统进行测试、验证、训练，以确保用户和计算机之间情感的一致性，特别是在情绪识别、决策、表示方面。对于该应用上支持的每一种模态，都有相应的已经在数据采集、标注和数据结构等方面有统一规定的数据集。以面部表情数据集为例，图像的标准为使用相机在专业光照条件下拍摄的，分辨率不低于 像素的图像。每张图像中仅仅允许有一张人脸，数据集的被试者要求性别平衡，并且能覆盖其用户的主要年龄群。采集到的图像以 的格式保存，并根据识别模块中的输出结果进行特定类型的标注格式，例如，在识别模块中使用的情感类别： “喜悦” “悲伤” “愤怒” “惊讶” “恐惧”等。不同模态下的数据集将由数据集标准定义和规范。犃 情感数据的采集情感计算用户界面系统能够通过该平台支持的模态来进行情感数据的获取和采集，例如，通过键盘、麦克风、摄像头等。情感数据在不同设备上的采集方式与数据结构将由情感数据采集标准定义和规范。犃 情绪识别情感数据将在识别模块进行处理与分析，来识别用户的情绪状态。假设情感计算用户界面系统捕捉到一个紧张客户的语音片段，经过数据处理和分析，识别模块将用户的情绪识别为“愤怒” ，这是金融 犌犅犜 客户服务特别关注的情绪，表示为“愤怒”的情绪类别。注：目标情绪类别是情景相关的。识别标准将规范在不同模态下识别用户情绪类别的分类流程，和已识别情绪的数据结构。犃 决策根据已识别的情绪“愤怒”和应用场景， “推理”子模块可以推理出用户的交互意图（例如，该客户丢失了信用卡，并且想上报损失，或者客户忘记了银行卡密码并且想重置密码等） 。同时， “推理”模块由此推断出用户的情感意图，例如“这个生气的用户可能需要安慰” 。推断的意图允许选择适当的模态，媒体类型和输出设备来决定对用户的回复方式，并产生情感动作，例如，向用户展示重置密码的步骤或者以在屏幕上显示文字来“安慰”客户，推断模块指示“呈现”模块来调用相关的功能来达到客户的预期目标。犃 情绪表达呈现模块接受并执行情感操作，在该聊天工具的具体场景中，通过视觉和听觉的模态，以如面部表情、文字、声音和音乐的媒体类型向客户进行呈现。呈现的具体事项将由呈现标准来进行定义与规范。注：在某金融虚拟客服场景中，呈现方式包括视觉和听觉，媒体类型包括该平台支持的文字，语音，表情，符号或者其组合。图犃 在某金融虚拟客服场景中，情感计算用户界面呈现的示例 犌犅犜 金融客服IIITlI令itJIl:Jl 返IIiII金融客户服务孟别担心，我们会帮您上报损失!斗亿阅/才l客户通过文字进行安抚通过语音进行安抚才通过图像进行安抚附录犅（资料性）情感计算用户界面标准化的内容为了实现情感计算用户界面（）的模型，以下的内容对于未来的标准化非常重要。）可以用于情感计算的情感特性：）普遍特性，）文化特性，）个体特性，）情境特性。）为您的应用程序选择一组最佳的情感特性：）寻找情感特性，）限定情感特性的集合，）优化情感特性的集合。）情感计算用户界面情感表示方法：）情感特性的类别，）维度情感空间，）情感特性类别与维度情感空间之间的映射，）支持情感计算用户界面的数据结构： 描述一种情感特性的数据结构， 支持情感特性数据的采集的数据结构， 支持情感特性识别的数据结构， 支持情感特性的决策的数据结构， 支持基于情感特性呈现的数据结构。）情感计算用户界面组成部分的设计：）情感特性数据的采集，）情感特性的识别： 在不同模态中情感特性的分类， 在不同模态中情感特性的度量。）决策的策略： 用户意图的推理， 情感动作的生成。）情感输出的呈现： 在不同模态中的呈现， 可表达的情感。）支持情感计算用户界面的数据集：）采集数据的需求和推荐方式，）数据集的标注，）数据集的数据结构。）情感计算用户界面的评估： 犌犅犜 ）评估环境的需求与推荐，）评估方法，）评估准则。 犌犅犜 参考文献 ： ： ， ： ： （） ， ， （ ） ， ， 犌犅犜