人机交互：第5章 人机交互前沿技术-1.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第,5,章 人机交互前沿技术,多通道融合交互,(,多通道人机交互,),多通道融合交互概念,(,多通道人机交互,),多个通道以自然、并行、协作的方式进行人机对话，通过整合来自多个通道的、精确的和不精确的输入来捕捉用户的交互意图，提高人机交互的自然性和高效性。,在多通道人机界面中，用户可以使用自然的交互方式，如语音、手势、表情等与计算机系统进行协同工作。人机交互方式向人与人的交互方式靠拢，交互的自然性和高效性得到极大的提高。,多通道人机交互目标,关注用户向计算机的输入以及计算机对用户意图的理解,（,1,）交互的自然性,:,使用户尽可能多地利用已有的日常技能与计算机交互，降低认识负荷。,（,2,）交互的高效性,:,使人机通讯信息交换吞吐量更大、形式更丰富，发挥人机彼此不同的认知潜力。,多通道人机交互的基本特点,1.,使用多个通道,一种通道,(,如语音,),不能充分表达用户的意图时，需辅以其它通道,(,如手势指点,),的信息；有时使用辅助通道以增强表达力。,交替而独立地使用不同的通道不是真正意义上的多通道技术，必须允许充分地并行、协作的通道配合关系。,2.,允许非精确的交互,人类语言本身就具有高度模糊性,人类在日常生活中习惯于并大量使用非精确的信息交流。,允许使用模糊的表达手段可以避免不必要的认识负荷有利于提高交互活动的自然性和高效性。,多通道人机交互技术主张以充分性代替精确性。,多通道人机交互关键技术,-,融合,语音和手势信息的融合是目前整合的主要问题。,融合中的一个重要问题是歧义消除。,处理好设备之间在时间响应上的差异。,举例,语音,+,指点,语音,+,唇读,语音,+,手势,语音,+,书写,融合分类,一般来说，基于决策级的融合还可以分为三种类型：,符号,:,每个模态的输出仅仅为一个类别编号。如：投票法。,排序,:,根据输入对象属于各个类别的可能性大小，每个通道的输出为所有类别编号的一个排序。,度量,:,输出结果为测试对象属于各个类别的置信度大小。如：加权平均、贝叶斯方法、模糊积分、,D-S,方法以及基于神经网络的方法等。,基于模糊理论的,融合算子,(Fuzzy Set Based),平均,法。,加权平均,。,其它乘积规则。,最大与最小规则。,基于统计理论的贝叶斯方法,取最大后验概率对应的类别作为融合后的结果，即,基于证据理论的,D-S,融合方法,基本概率赋值函数：,信任函数与似然函数：,Bel(A),Pls(A),反映了不确定度的范围。,在考虑分类器输出不确定性测度的多分类器融合中，通过拒识置信度较低的样本，能以较小的拒识率为代价来换取较高的识别率。,1,、,D-S,证据方法,D-S,正交和,基于模糊积分多分类器融合,在用模糊积分对多分类器融合时，积分域为分类器的集合，被积函数为从,分类器得到的对象属于各类别的置信度，积分结果为融合后系统对该类别的信任度。,模糊积分已成为多分类器融合的有效手段。,模糊积分中，要解决模糊测度的赋值问题：,模糊测度代表了各分类器在融合过程中的重要性，运用不同的模糊测度值，将得到不同的融合结果。,