人机交互：第5章 人机交互前沿技术-1.ppt

,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第,5,章 人机交互前沿技术,多通道融合交互,(,多通道人机交互,),多通道融合交互概念,(,多通道人机交互,),多个通道以自然、并行、协作的方式进行人机对话，通过整合来自多个通道的、精确的和不精确的输入来捕捉用户的交互意图，提高人机交互的自然性和高效性。,在多通道人机界面中，用户可以使用自然的交互方式，如语音、手势、表情等与计算机系统进行协同工作。人机交互方式向人与人的交互方式靠拢，交互的自然性和高效性得到极大的提高。,多通道人机交互目标,关注用户向计算机的输入以及计算机对用户意图的理解,（,1,）交互的自然性,:,使用户尽可能多地利用已有的日常技能与计算机交互，降低认识负荷。,（,2,）交互的高效性,:,使人机通讯信息交换吞吐量更大、形式更丰富，发挥人机彼此不同的认知潜力。,多通道人机交互的基本特点,1.,使用多个通道,一种通道,(,如语音,),不能充分表达用户的意图时，需辅以其它通道,(,如手势指点,),的信息；有时使用辅助通道以增强表达力。,交替而独立地使用不同的通道不是真正意义上的多通道技术，必须允许充分地并行、协作的通道配合关系。,2.,允许非精确的交互,人类语言本身就具有高度模糊性,人类在日常生活中习惯于并大量使用非精确的信息交流。,允许使用模糊的表达手段可以避免不必要的认识负荷，有利于提高交互活动的自然性和高效性。,多通道人机交互技术主张以充分性代替精确性。,多通道人机交互关键技术,-,融合,语音和手势信息的融合是目前整合的主要问题。,融合中的一个重要问题是歧义消除。,处理好设备之间在时间响应上的差异。,举例,语音,+,指点,语音,+,唇读,语音,+,手势,语音,+,书写,融合分类,一般来说，基于决策级的融合还可以分为三种类型：,符号,:,每个模态的输出仅仅为一个类别编号。如：投票法。,排序,:,根据输入对象属于各个类别的可能性大小，每个通道的输出为所有类别编号的一个排序。,度量,:,输出结果为测试对象属于各个类别的置信度大小。如：加权平均、贝叶斯方法、模糊积分、,D-S,方法以及基于神经网络的方法等。,基于模糊理论的,融合算子,(Fuzzy Set Based),平均,法。,加权平均,。,其它乘积规则。,最大与最小规则。,基于统计理论的贝叶斯方法,取最大后验概率对应的类别作为融合后的结果，即,基于证据理论的,D-S,融合方法,基本概率赋值函数：,信任函数与似然函数：,Bel(A),Pls(A),反映了不确定度的范围。,在考虑分类器输出不确定性测度的多分类器融合中，通过拒识置信度较低的样本，能以较小的拒识率为代价来换取较高的识别率。,1,、,D-S,证据方法,D-S,正交和,基于模糊积分多分类器融合,在用模糊积分对多分类器融合时，积分域为分类器的集合，被积函数为从,分类器得到的对象属于各类别的置信度，积分结果为融合后系统对该类别的信任度。,模糊积分已成为多分类器融合的有效手段。,模糊积分中，要解决模糊测度的赋值问题：,模糊测度代表了各分类器在融合过程中的重要性，运用不同的模糊测度值，将得到不同的融合结果。,