人机自然交互技术.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,人机自然交互技术,提纲,人机交互概述,定义，内涵与外延,研究内容,历史、现状,人机自然交互技术,我的工作,HCI,是什么？,用户：我,又错了？,用户必须不断地适应计算机，而不是相反！,人机交互,定义（,ACM,1992,）,Human-computer interaction is a discipline concerned with the design,evaluation and implementation of interactive computing systems for human use and with the study of major phenomena surrounding them.,一门研究,人类,所使用的,交互式计算系统,的,设计、实施、评估,及相关,主要现象,的学科,HCI,简化模型,控制信息,显示信息,HCI,目标,使得用户在完成任务时，能够达到,安全性,(,Safely),有效性,(effectively),高效率,(,Efficiently,),愉悦感,(,Enjoyably,),高可用性,(Usability),高可用性,(Usability),易于学习如何使用,Ease of learning,，,free of training,用户可高速执行任务,High speed of user task performance,低的用户错误率,L,ow user error rate,用户的主观满意度,Subjective user satisfaction,对用户持久的吸引力,User retention over time,HCI,主要研究内容,(ACM 1992),HCI,研究内容,N,人机交互的本质,N1,人机交互,(,元,-),模型,U,计算机的应用及情景,U1,人类社会组织和工作,U2,应用领域,U3,人机适应,(Fit and Adaptation),H,人类特征,H1,人类信息处理,H2,语言，通信与交互,H3,工效学,(Ergonomics),HCI,研究内容,(,续,),C,计算机系统和界面构建,C1,输入和输出设备,C2,对话技术,C3,对话风格,Genre,C4,计算机图形学,C5,对话架构,(Architecture),D,开发过程,D1,设计方法,D2,实施技术,D3,评估技巧,D4,实例系统和案例研究,P,项目展示和测试,U2 HCI,应用领域,面向文档的应用,文字处理，文档格式化，插图，电子表格，超文本,面向通信的应用,email,视频会议,电话,/,声音信息系统,设计开发环境类,开发环境，,CAD/CAM,在线帮助和指南,多媒体信息亭,连续控制系统,过程控制系统，虚拟现实系统，仿真器，座舱，视频游戏,嵌入式系统,复印机，电梯，消费电子，家用电器,(TVs,VCRs,微波炉,.),U3,人机适应,实现人机适应的可变化技术手段,自适应系统的本质，适应冗余系统的错误本质，用户对例程改进的经验发现，成功系统的关键点,系统选择：系统采用理论,系统适应：定制与裁剪技术,用户选择：用户和系统特性的兼容性,用户适应：易学习，训练方法（在线指南），与系统设计的关系,用户指导：帮助技术，文档，错误处理技术,H1,人类信息处理,认知机理模型,符号主义，连接主义，工程模型,诸多认,知过程的现象和理论,记忆，知觉，运动技巧，注意和警惕，问题求解，学习和技巧获得，动机等,用户的概念模型,用户行为模型,人类的多样性（包括残障人士）,C1,输入和输出设备,输入设备,特定设备的结构，性能特性，残障人专用设备，手写，手势，语音输入，眼动跟踪，其他设备（如脑电扫描设备，,3D,扫描仪，其他测量生物信号的设备）,输出设备,特定设备的结构，向量式设备，光栅设备，帧缓存，图像存储，事件处理，残障人专用设备，声音和语音输出，,3D,显示器，运动等等,输入输出设备特性,重量，便携性，带宽，感觉模态,虚拟显示设备,C2,对话技术,对话输入,输入目的类型,(,如选择，具体参数指定，连续控制）,输入技术,键盘技术,(,e.g,commands,menus),基于鼠标的技术,(e.g.,选择,),基于,pen,的技术,(e.g.,字符识别，手势等,),基于语音的技术,对话输出,输出目的,如：传达精确信息，信息摘要，过程展示，信息可视化,输出技术,滚动条显示，窗口，动画，鱼眼显示，画中画等,屏幕布局问题,焦点，杂乱，视觉逻辑,C2,对话技术,(,续,),对话交互技术,对话种类和技术,文字技术，表格填充，菜单选择，图标和直接操作，自然语言等,对话中的导航和指向，错误管理,多媒体和非图形对话,语音输入,/,输出，语音信箱，视频信箱，主动文档，视频磁盘,智能代理，,AI,多人对话,HCI,简史,D4,实例系统和案例研究,Why History?,读史使人明智,理解我们从哪里走过来的，有助于指明我们继续前进的方向！,Understanding where youve come from can help a lot in figuring out where youre going.,领域知识意味着对其历史的准确评价！,K,nowledge of an area implies an appreciation of its history.,HCI,范式,(Paradigms),里程碑式的理论框架或科学世界观,如物理学上的亚里士多德时代、牛顿时代、爱因斯坦时代,对,HCI,历史的理解，可以通过对计算机应用范式变迁的认识来完成,HCI,的历史，基本上就是计算机发展的历史！,计算机的诞生,回溯,数,字计算机的概念在,18,世纪提出,在,20,世纪,40,年代技术上称为现实,早期模拟计算机,1943,年,1,月,:Mark I,，自动顺序控制计算机在美国研制成功，被用来为美国海军计算弹道火力表,1943,年,12,月,:Alan Turing,参与设计制造的最早的可编程计算机,Colossus,在英国推出，目的是为了破译德国的密码，每秒能翻译大约,5000,个字符,ENIAC,，,1946,开始研制于,1943,年，完成于,1946,年,2,月,15,日,Electronic Numerical Integrator And Computer,电子数字积分计算机,第一台真正意义上的数字电子计算机,占地面积,170,平方米，,30,个操作台，约相当于,10,间普通房间的大小，重达,30,吨，耗电量,150,千瓦，造价,48,万美 元。它使用,18000,个电子管，,70000,个电阻，,10000,个电容，,1500,个继电器，,6000,多个开关,每秒执行,5000,次加法或,400,次乘法，是继电器计算机的,1000,倍、手工计算的,20,万倍,负责人是,John W.,Mauchly,和,J.,Presper,Eckert,ENIAC,用途：计算弹道和氢弹的研制。,P1:,V.Bush,&,Memex,1945,促成了美国,NSF,ARPA,等的创立,“,As We May Think”1945,年,Memex,device,理论模型,/,概念,能够存储所有记录、文章和通信,内存巨大,按索引,关键词,相互参照获取信息,相互连接管理,(,提出的概念非常类似于,Hypertext),Memex,1945,P2:J.R.,Licklider,心理学家,计算机科学家,1960,年,发表了“人机共生”,(“man-computer symbiosis”),的论文,计算机如何更好的帮助人做事情,1962,年，,J.C.R.Licklider,和,W.Clark,发表论文,On,Line Man Computer Communication,，讨论分布式社交行为的全球网络概念,Batch processing,time-sharing,Internet,先驱人物之一,P3:,I.Sutherland,&,SketchPad 1963,SketchPad“,编程,”,系统,信息论先驱,Shannon,的学生,1963 PhD thesis at MIT,1988 Turing Award,可以通过使用手持物体（如光笔）直接在显示屏幕上创建图形图像。可视的图样随即被存入计算机内存，它们可以被重新调用，并同其他数据一样可以进行后期的处理。,CAD,先驱，后期,致力于设计头,盔式,3D,显示器（,1967,年开始）,P3:Ivan Sutherland,Sketchpad,是第一个可以在显示屏幕上直接构造图形图像的系统，不用再通过键盘向计算机输入代码和公式,更具革命性的是，它考虑到了在显示屏幕上作某些改动后，存储在计算机中的信息可以被改变和更新。,Sketchpad,开创了计算机辅助设计的一个新领域，即我们所熟知的,CAD,新的范式：,Video Display Units,视频显示部件,VDU,Sutherlands Sketchpad,是里程碑式的系统,计算机从此可以用于,信息可视化,和,数据操作,之前：主要用于数据计算,P4:Douglas,Engelbart,道格拉斯,恩格尔巴特,“,人机交互”大师,因发明鼠标而闻名，鼠标最初的名字：显示系统的,X-Y,位置指示器（,19631965,）,P4:Douglas,Engelbart,鼠标器只不过是他所有成果中的一个小发明。但他提出的那些气魄辉宏的计算机理论却远远不及他发明的鼠标器广为世人所知晓,发明涉及视窗、文字处理系统、在线呼叫集成系统、共享屏幕的远程会议、超媒体、电脑交互输入设备、群件，层次超文本,多媒体,鼠标,20,世纪,60,年代初，他就发表了一篇题为,放大人类智力,(Augmenting the Human Intellect),的文章，提出了把计算机作为人类智慧放大器的观点,1997,年，,ACM,图灵奖,P5:Alan Kay,最早的图形用户界面,(GUI),电脑,Alto,在施乐,PARC,，与同事构建了,Alto,成为,Macintosh,和,Windows,的先驱,2003,年度图灵奖得主,(for OOP),发明了“,Object Oriented”,这个术语，第一个完全面向对象的动态计算机程序设计语言,Smalltalk,的发明者,Smalltalk,源自,Alan Kay“,使用一组独立的互相通信的对象来解决问题”的思想，它可以说是目前主流语言,C+,，,Java,和,C#,的前身。,1972,年，他来到施乐,PARC,，开始将,Smalltalk,作为一种儿童教育工具,P5:Alan Kay,个人计算之父,1968,年，提出,Dynabook,设想,“,Notebook sized computer loaded with multimedia and can store everything”,将是一款如同书籍般，既为可携式且具互动功能的多媒体个人式电脑，它的主要规格如下：,1.,大小如,A4,纸张之易携带；,2.,显示器的解析度必须优于报纸文字；,3.,必须具有声音输入的功能且易操作；,4.,必须能够网路化和作无线通讯,新的范式：个人计算,因易于使用而更强大,小而强大的计算机器为个人用户而做,互联和分时的重要性,先驱者,Kays Dynabook,，,1968,年,IBM PC,，,1970,年代,文本和命令方式,具有,GUI,的,PC,Xerox PARC-mid 1970s,Alto,Bravo,WYSIWYG,文本编辑,.,BravoX,Microsoft Word,的祖先,.,Laurel,电子邮件,.,Neptune,磁盘文件管理,.,Press,文件打印,.,Sil,画图程序,.,Xerox Star-1981,第一台为商务应用设计的商用,PC,具有了桌面电脑的主要特征,Pointing,WYSIWYG,high degree of consistency and simplicity,采用了可用性工程方法,有原型设计和分析,好用性测试，迭代式的改进,Xerox Star,天才的概念，商业失败,$15k cost,Closed architecture,Lacking key functionality,1981 IBM PC,1981,年,8,月,12,日，,IBM,正式发布了历史上第一台,PC,，从此人类就进入了个人电脑时代！,IBM PC,改变了我们的生活和工作方式,IBM PC,之父：,埃斯特利奇，,13,人小组,Apple Lisa-1982,Based on ideas of Star,更加个人化，而不全是办公工具,LisaWrite,:,字处理,LisaCalc,:,表格,LisaGraph,:,图形,LisaList,:,规划管理工具,LisaProject,:,项目计划,LisaDraw,:,绘图程序,LisaTerminal,:,现代通信软件,失败,Apple Macintosh-1984,并非先驱，但非常聪明的拷贝,Not trailblazer,smart copier,优点,Aggressive pricing-$2500,界面友好,支持第三方应用,高质量图像和激光打印,高质量的应用系统，,MacWrite,、,MacDraw,新的应用：,Pagemaker,，,Word,，,Excel,新的,HCI,范式：,WIMP,Windows,Icons,Menus,Pointers,并行操作,Can do several things simultaneously,图形用户界面,实例,Xerox Alto,Star;early Apples,P6:Ben,Shneiderman,Dr.,Shneiderman,的著作有,软件心理学：计算机和信息系统中的人类要素,，,1980,发明了直接操作,DM(Direct Manipulation),概念,在,1983,年首次设计了选中条目点击转到另一页的方法,创立并任马里兰大学,HCI,实验室主任,新的范式：直接操作,Direct Manipulation,直接操作的特点,对象可见,渐进动作和快速反馈,可逆性鼓励探索,使用动作代替语言,对动作进行句法修正,WYSIWYGWhat You See Is What You Get.,P7:Donald A.Norman,20,世纪,60,年代他就是一流的认知心理学家，是认知科学的开拓者之一，发展了,HCI,应用科学，涉及到认知学、工程和设计，在,HCI,方面做出了大量创造性的成就，提出的“以人为中心的设计,”,概念。,“,Design of Everyday Things”,已成了设计人员的必备，以人为本，可用性、易用性，还有情感影响，新的理念指导着很多的设计,Emotional Design:Why we love(or hate)everyday things,情感化设计,强调情感在产品设计中的重要作用,新的范式：多模态用户界面,模态是人类交流的通道,不仅仅是感官,例如：语音（听觉通道）和唇读（视觉通道）,多模态融合,多通道同时使用共同协作完成输入,/,输出功能,P8:Ted Nelson,Hypertext,（超文本）,hypermedia,（超媒体）等概念的,(,合作,),提出者,新的范式：,Hypertext,WWW,，,1993,超文本,将信息看作互联的节点，而不是线性流,Think of information not as linear flow but as interconnected nodes,源头,Nelsons hypertext,Bushs MEMEX,非线性的浏览结构,Non-linear browsing structure,P9:Mark Weiser,提出普适计算是,21,世纪的计算模式,Mark Weiser,于,1988,年在,Xerox PARC,的计算机科学实验室首次提出了这个概念,无处不在的计算描述了具有丰富计算资源和通信能力的人和环境之间关系的场景，能够在需要的何时何地都可以提供信息和服务，这个环境与人们逐渐地融合在一起。使得计算机“,Invisible”,，,“,最好的仆人是看不见的仆人”,还提出了,”,宁静技术,calm technology”,的概念,充分利用人体丰富多彩的感知和动作器官，以及人们与日常物理世界打交道时所形成的自然交互技能来获得计算机提供的服务,人机自然交互技术,HCI,简史,人适应计算机的历史,！,1960,年代一,70,年代：键盘，字符界面,1980,年代一,90,年代：鼠标，图形界面,目前,仍然以鼠标，图形界面为主，书写、听觉等为辅,未来,计算机适应人的未来,！,到,2015,年左右，我们会如何使用计算机？,下一代自然人机界面会是什么？,需要大家的想象力！,人机自然交互技术,人们对于现存的人机交互方式并不满足，因为人与人的交互不是通过人手操作来实现的，而是通过听觉与视觉以语言、表情、手势和体势进行的。人们期望新一代的人机交互能像人与人交互那样自然、准确和快捷。于是在,20,世纪,90,年代人机交互的研究进到了多模态的阶段，称为人机自然交互,(Human-Computer Nature,Interaction,HCNI,或,Human-Machine Nature Interaction,HMNI),。,人机自然交互与前几代人机交互的方式有本质上的差别，这是一种人机交互的革命，是摆脱人手操作，赋予机器以智能，通过听觉和视觉通道来实现的新一代交互方式。,人机自然交互的基本特征是只动嘴不动手，赋予计算机听觉与视觉智能，使计算机能认识交互的对象，理解以语言形式表达的说话内容，理解交互对象的情感，按人的要求去做，或回答人提出的问题，达到交互的目的。,人机自然交互技术,主要功能,识别交互对象，即知道在与谁对话，以称为说话人识别，这可以由视觉和听觉信息通道获取的知识中进行识别和判断,；,要理解对话的内容，以便执行人发出的指令，或回答人提出的问题，这是主要由听觉信息通道获取知识，但由于语言本身是双模态的，由视觉信息通道获取的唇动知识对某些语音识别是非常重要的；,要理解对方的情感状态，这对于理解对方的对话内容、思想、意图都是非常重要的；,要能对说话人进行定位与跟踪，仿如人与人交流时，总是注视对方，看对方的眼神，多人会话还能区分说话人，并注视着说话人。,人机自然交互技术,特征,在交互方式上，输入与输出是多模态的，正如人与人交互一样，至少是听觉与视觉双模态的,；,在交互内容上，包括人机的对话、情感的表现；,在交互界面上，将采用智能代理界面，以完成人与计算机的多模交互，智能代理界面就是这种交互的媒体，它应该是开放性、协调性、分布性同时也是人性化服务的；,在交互环境上，应能营造,2,维和,3,维的真实的虚拟环境和虚拟真人，完成虚拟环境的重要，使人机的交互环境好像人与人交互的环境一样。,某个侧面、一种可能,拟人的类比,人和人之间如何交互？,看、听、读、说、写、触、嗅,我们的目标,:,改变目前机器的准,聋哑盲,状态,使其,具有,视、听,、触、嗅等,感觉、知觉,能力,具有学习、记忆乃至,情感,等,认知,能力,具备说话、绘画等,表达,能力,本体感觉、自我意识,比尔盖茨曾预言，电脑毫无表情的时代即将结束，,21,世纪将是情感电脑大行其道的时代。,让人机之间的交互能够像人与人交流一样自然！,当有那么一天？,当有一天，计算机达到了这一步，那将是什么样的情景呢？我们期待着驯服的智能工具的出现，我们让它做什么，它就会很高兴地去做什么。如果不驯服呢？你让它去做，它不光不去做，甚至表示愤怒，那又是一种什么样的结果呢？在国际上存在着两种完全不同的认识：,一种看法是，人脑的语言不是数学家的语言，智能信息处理再高级，也不能与人脑匹敌；人的思维有很多方面不能形式化，因此不可能完全用机器来实现。,另一种看法是，认为机器比人更聪明；在活的自然理智生命和人工制造的装置之间，不存在原则的差异；正像猿进化到人，猿就失去了对人的控制，因为人的进化对猿更高级；同样，人也许也要这样被迫服从于起机器；或许这些聪明的机器人会把人驯养起来，成为它的低级发展形态的回忆。,（恐怖的事情）,我要做的工作,口形的跟踪,比较精确的把口形的轮廓实时提取出来。,虚拟人口形的模仿,虚拟人根据提取出来的口形轮廓实时地模仿人的口形。,谢谢！,