第4章 ---交互技术.ppt

单击此处编辑母版标题样式,*,*,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,第四章交互技术,内容摘要,人机交互输入模式,基本交互技术,图形交互技术,笔交互技术,4.1,人机交互输入模式,由于输入设备是多种多样的，而且对一个应用程序而言，可以有多个输入设备，同一个设备又可能为多个任务服务，这就要求对输入过程的处理要有合理的模式。,请求模式,(Request Mode),采样模式（,Sample Mode,）,事件模式（,Event Mode,）,4.1,人机交互输入模式,请求模式,在请求模式下，输入设备的启动是在应用程序中设置的。应用程序执行过程中需要输入数据时，暂停程序的执行，直到从输入设备接受到请求的输入数据后，才继续执行程序。,程序工作，输入设备等待程序请求,遇到请求指令,输入设备工作，程序等待接收数据,请求满足,图,4-1,请求模式的工作过程,4.1,人机交互输入模式,采样模式,输入设备和应用程序独立地工作。,输入设备连续不断地把信息输入进来，信息的输入和应用程序中的输入命令无关。,应用程序在处理其它数据的同时，输入设备也在工作，新的输入数据替换以前的输入数据。,当应用程序遇到取样命令时，读取当前保存的输入设备数据。,4.1,人机交互输入模式,采样模式,优点,：这种模式对连续的信息流输入比较方便，也可同时处理多个输入设备的输入信息。,缺点,：当应用程序的处理时间较长时，可能会失掉某些输入信息。,程序工作,数据采样,数据生成,数据,缓存区,输入设备,工作,图,4-2,采样模式的工作过程,4.1,人机交互输入模式,事件模式,输入设备和程序并行工作。,输入设备把数据保存到一个输入队列，也称为事件队列，所有的输入数据都保存起来，不会遗失。,应用程序随时可以检查这个事件队列，处理队列中的事件，或删除队列中的事件。,4.1,人机交互输入模式,应用程序,事件,检查事件调用过程模块,处理类型,1,事件的过程,处理类型,n,事件的过程,图形包,图,4-3,事件模式,4.2,基本交互技术,定位,笔划,定值,选择,字符串输入,定位,确定平面或空间的一个点的坐标，是交互中最基本的输入技术之一。,直接定位,：用定位设备直接指定某个对象的位置，是一种精确定位方式。,间接定位,：通过定位设备的运动控制屏幕上的映射光标进行定位，是一种非精确定位方式。其允许指定的点位于一个坐标范围内，一般用鼠标等指点设备配合光标来实现。,3DS Max,中的精确定位,笔划,笔划输入用于输入一组顺序的坐标点。它相当于多次调用定位输入，输入的一组点常用于显示折线或作为曲线的控制点。,定值,定值（或数值）输入用于设置物体旋转角度、缩放比例因子等,选择,选择是在某个选择集中选出一个元素，通过注视、指点或接触一个对象，使对象成为后续行为的焦点，是操作对象时不可缺少的一部分。,键盘,Ctrl+A,鼠标,选择,字符串,键盘是目前输入字符串最常用的方式，现在用写字板输入字符也已经很流行。,4.3,图形交互技术,几何约束,引力场,拖动,橡皮筋技术,操作柄技术,三维交互技术,几何约束可以用于对,图形的方向,、,对齐方式,等进行规定和校准。,对定位的约束（网格吸附）,4.3.1,几何约束,Adobe Photoshop,网格线,方向约束,例如要绘的垂直或水平方向的线，当给定的起点和终点连线和水平线的交角小于,45,时，便可绘出一条水平线，否则就绘垂直线。绘制印刷线路板、管网图或地籍图时非常有用。,在,Word,绘图中，通过锁定纵横比，在拖动线段一个端点时，线段只是沿原来方向放缩,几何约束,引力场可以看作是一种,定位约束,，通过在特定图素（如直线段）周围假想有一个区域，当光标中心落在这个区域内时，就自动地被直线上最近的一个点所代替，好像一个质点进入了直线周围的引力场，被吸引到这条直线上去一样。,4.3.2,引力场,引力场的,大小要适中,，太小了不易进入引力区，太大了线和线的引力区相交，光标在进入引力区相交部分时可能会被吸引到不希望选的线段上去，增大误接的概率。,4.3.2,引力场,几何约束,要把一个对象移动到一个新的位置时，如果我们不是简单地用光标指定新位置的一个点，而是,当光标移动时拖动着被移动的对象,，这样会使用户感到更直观，并可使对象放置的位置更恰当。,拖动有,图形模式,和,图像模式,4.3.3,拖动,橡皮筋技术（,Rubber Band,）是拖动的另一种形式,不同的是被拖动对象的,形状,和,位置,随着光标位置的不同而,变化,。,不断地进行画图擦除画图的过程,4.3.4,橡皮筋技术,4.3.4,橡皮筋技术,操作柄技术可以用来对图形对象进行缩放、旋转、错切等,几何变换,。,先选择要处理的图形对象，该图形对象的周围会出现操作柄,移动或旋转操作柄就可以实现相应的变换。,4.3.5,操作柄技术,4.3.5,操作柄技术,三维交互技术采用,六自由度,输入设备。,所谓六自由度，指沿三维空间,X,、,Y,、,Z,轴平移和绕,X,、,Y,、,Z,轴旋转,而现在流行的用于桌面型图形界面的交互设备，如鼠标、轨迹球、触摸屏等只有两个自由度,(,沿平面,X,、,Y,轴平移,),。,4.3.6,三维交互技术,存在的问题：,由于自由度的增加，使三维交互的复杂性大大提高,窗口、菜单、图符和传统的二维光标在三维交互环境中会破坏空间感，用户难以区分屏幕上光标选择到对象的深度值和其他显示对象的深度值，使交互过程非常不自然。,4.3.6,三维交互技术,1.,直接操作,三维光标必须有深度感，即必须考虑光标与观察者距离，离观察者近的时候较大，离观察者远的时候较小。,为保持三维用户界面的空间感，光标在遇到物体时不能进入到或穿过物体内部。,为了增加额外的深度线索，辅助三维对象的选择，可以采用半透明三维光标。,三维光标可以是人手的三维模型,2.,三维,Widgets,三维,Widgets,是从,X-Window,中的,Widget,（如菜单、按钮等）概念引申来的，即三维交互界面中的一些小工具,现有的一些,三维,Widgets,包括：,三维空间中漂浮的菜单、用于拾取物体的手的三维图标、平移和旋转指示器等。,2.,三维,Widgets,1992,年美国,Brown,大学计算机系提出三维,Widget,设计原则：,三维,Widget,的几何形状应能表示其用途（,eg,:,一个用来扭曲物体的,Widget,，最好本身就是一个扭曲的物体）；,2.,三维,Widgets,适当选择,Widget,控制的自由度,-,由于三维空间有六个自由度，有时会使三维交互操作变得过于复杂，因此在用户使用某种,Widget,时，可以固定或者自动计算某些自由度的值,2.,三维,Widgets,根据三维用户界面的用途确定,Widget,的功能。例如，用于艺术和娱乐的三维用户界面的,Widget,，只要能够完成使画面看起来像的操作就可以了，而用于工业设计和制造的用户界面，则必须保证交互操作参数的精确性。,3.,三视图输入,在不具备三维交互设备的情况下，可以借助三视图输入技术，用二维输入设备在一定程度上实现三维的输入。,如果输入一个三维点，只要在两个视图上把点的对应位置指定后便唯一确定了三维空间中的一个点；,3.,三视图输入,把直线段上两端点在三视图上输入后便可决定三维空间的一条直线；,把一个面上的各顶点在三视图上输入后，也唯一确定了三维空间中的一个面；,如果把一个多面体上的各面均用上述方法输入，也就在三维空间中输入了一个多面体。,4.4,语音交互技术,是以语音合成和语音识别两项技术为基础的语音交互技术，支持用户通过语音与计算机交流信息。,4.4,语音交互技术,语音识别（,Speech Recognition,）是计算机通过识别和理解过程把语音信号转变为相应的文本文件或命令的技术，其所涉及的领域包括：信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等。,一个完整的语音识别系统大致可分为语音特征提取,、,声学模型与模式匹配,、,语言模型与语义理解三部分。,语音识别系统组成,语音特征提取,从语音信号中提取语音的特征，既可以获得语音的本质特征,也起到数据压缩的作用。,输入的模拟语音信号首先要进行预处理，包括预滤波、采样和量化、加窗、端点检测、预加重等。,语音识别系统组成,声学模型,声学模型对应于语音到音节概率的计算。在识别时将输入的语音特征同声学模型（模式）进行匹配与比较，得到最佳的识别结果。,目前采用的最广泛的建模技术是隐马尔科夫模型,HMM,建模和上下文相关建模。,隐马尔科夫模型,HMM,建模,马尔可夫模型是一个离散时域有限状态自动机，隐马尔可夫模型,HMM,是指这一马尔可夫模型的内部状态外界不可见，外界只能看到各个时刻的输出值。,语音识别系统的组成,隐马尔科夫模型,HMM,建模,语音识别中使用,HMM,通常是用从左向右单向、带自环、带跨越的拓扑结构来对识别基元建模，一个音素就是一个三至五状态的,HMM,，,一个词就是构成词的多个音素的,HMM,串行起来构成的,HMM,，,而连续语音识别的整个模型就是词和静音组合起来的,HMM,。,语音识别系统的组成,上下文相关建模,上下文相关建模方法在建模时考虑了协同发音的影响。,协同发音是指一个音受前后相邻音的影响而发生变化，从发声机理上看就是人的发声器官在一个音转向另一个音时只能逐渐变化，从而使得后一个音的频谱与其他条件下的频谱产生差异。,语音识别系统的组成,上下文相关建模,上下文相关模型能更准确地描述语音，只考虑前一音的影响的称为,Bi-Phone,，,考虑前一音和后一音的影响的称为,Tri-Phone,。,英语的上下文相关建模通常以音素为基元，由于有些音素对其后音素的影响是相似的，因而可以通过音素解码状态的聚类进行模型参数的共享。,语音识别系统的组成,4.5,笔交互技术,笔式输入具有连续性、使用笔的连续线条绘制可以产生字符、手势或者图形等特点。其,优点,是便于携带，输入带宽信息量大，输入延迟小；其,缺点,是翻译困难，再现精度低。,手写识别技术是笔交互中的一种基本技术，目前已经嵌入到各种设备中，得到广泛应用。,4.5,笔交互技术,手写体识别的方法和识别率取决于对手写约束的层次，这些约束主要是手写的类型、写字者的数量、词汇量的大小以及空间的布局。显然，约束越宽识别越困难。,1.,联机手写识别,联机手写文字的识别过程通常分为四个阶段：预处理、特征抽取、特征匹配和判别分析,联机手写识别技术的优点是不需专门学习与训练、不必记忆编码规则、安装后即可手写输入汉字，是最简单方便的输入方式。同时符合人的书写习惯，可以一面思考、一面书写，不会打断思维的连续性，是最自然的输入方式。,汉字,手写,输入板,预处理,模式表达,（特征提取）,判别,（分类或句法分析）,字典,（特征模板集合或句法规则集合）,汉字代码,2.,脱机手写识别,脱机手写识别比印刷体汉字识别、联机手写体识别都要困难。,脱机手写识别得到的描述则是点阵图像，要得到笔段的点阵通常需要细化运算。,2.,脱机手写识别,细化会损失一些信息，并且不可能得到时间顺序信息。,脱机识别中，笔画与笔画之间经常粘连，很难拆分，而且笔段经过与另一笔段交叉分成两段后，也难以分清是否应该连起来。,汉字识别的方法,结构识别,结构识别方法的出发点是汉字的组成结构。汉字是由笔划,(,点、横、竖、撇、捺等,),、偏旁、部首构成，通过把复杂的汉字模式分解为简单的子模式直至基本模式元素，对子模式的判定以及基于符号运算的匹配算法，实现对复杂模式的识别。,结构识别法的优点是区分相似字的能力强，缺点是抗干扰能力差。,汉字识别的方法,统计识别,统计识别方法是将汉字看为一个整体，其所有的特征是从整体上经过大量的统计而得到的，然后按照一定准则所确定的决策函数进行分类判决。统计识别的特点是抗干扰性强，缺点是细分能力较弱。,汉字识别的方法,神经网络,神经网络具有学习能力和快速并行实现的特点，因此可以通过神经网络分类器的推广能力准则和特征提取器的有效特征提取准则，对手写字符进行识别。,影响汉字识别率的因素,笔顺问题,书写习惯影响笔划的书写顺序，单纯通过串匹配进行识别难以达到理想效果。对汉字进行描述时，仅仅采用一维串也就显得不够，必须利用一些二维方法来描述，但其会极大地增加匹配的难度。,影响汉字识别率的因素,连笔问题,对于结构识别而言，连笔一方面使笔划种类大大增加，甚至达到难以归纳的程度；另一方面，连笔又使得笔段抽取难度大增，连笔会增加一些冗余笔段，连笔造成的畸变又会使笔段方向严重离散。,相似字区分,汉字种类繁多，很多汉字彼此之间非常相似，例如,“,己、已、巳,”,三个字相差只在细微之间。手写汉字的变形十分严重，怎样能使识别系统抓住微小的差别，是一个非常值得研究的问题。,影响汉字识别率的因素,对抗干扰能力的要求,书写时候，笔划的畸变、丢失，多余笔段,(,如笔锋,),的插入，字的倾斜，部件间相对位置、大小的变化，经常出现，会造成基元提取和识别的错误。,影响汉字识别率的因素,4,.5.2,数字墨水,技术,数字墨水是一种新的人机界面技术，它借鉴手写识别技术的同时，克服了它的许多局限性。,数字墨水在数学上是通过三阶贝塞尔曲线来描述笔输入的笔迹，它的记录格式与图像和文本格式都不同。,这种存储方式使得数字墨水文件的大小很小，从而可以更有效地进行存储。,数字墨水的处理,数字墨水的表示,压缩和显示,智能的墨水分析技术,墨水标记和注解技术,墨水的智能操作,墨水存储,墨水搜索,数字墨水的解析,墨水解析技术是数字墨水技术中的亮点，它可以将笔输入的文字串解析成单字，从而将复杂的语句级手写识别化繁为简，分解成语句解析和单字识别两个部分。,数字墨水的解析,可以对记录下来的数字墨水进行结构化和深度分析，分析目的不是要去解决“写的是什么字”，而是要解决“到底在写什么，以及是如何写的”。,数字墨水的保存格式,数字墨水可以用墨水格式保存（,ink,文件），用户不再需要利用其他,Windows,应用程序来把手绘、手写的笔迹转换为别的格式来保存、发送和编辑。,数字墨水的保存格式,同样，由于,Windows,平台将数字墨水定义为基本数据类型之一，如同文本得到操作系统级的支持一样，数字墨水在不同应用软件之间的交换也变得非常容易。,数字墨水的保存格式,数字墨水的数据格式比图像数据格式所占的空间小得多，而且数字墨水记录的是结构化的信息，可以进行全文搜索。,数字墨水的使用,当前，微软已实现了数字墨水技术对英文、德文、法文、韩文、日文、简体和繁体中文等语言的支持。,Windows XP Tablet PC Edition,拥有强大而简单的数字化墨水控件和,API,，,方便软件开发商将笔墨功能扩展到其现有和即将推出的软件中，就如同集成目前的键盘和鼠标一样简单。,数字墨水的价值,它结合了个人电脑强大的计算处理能力以及纸的易用性。,它“还墨水以本色”，人类不再需要扭曲自己最自然的写作方式，在机器所设置的“行”或“框,”,中按机器的要求书写，而是随心所欲、随意勾画。,将成为许多崭新应用的底层支持，这些应用将把人类传统的手写和手绘发挥得淋漓尽致。,