第二讲-交互技术与应用接口.ppt

南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所交互技术与应用接口 第二讲 人机交互与多媒体研究室人机交互与多媒体研究室 1 1南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所CAD软件层次结构 CAD 软件 CAD 专用软件 CAD 支撑软件 优化方法库 图形支撑软件 数据库软件 有限元分析软件 系统软件系统软件 操作系统操作系统 高级语言编译器高级语言编译器 网络软件网络软件人机交互与多媒体研究室人机交互与多媒体研究室 2 2南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所CAD软件的交互处理 人机交互人与计算机相互之间的双向信息交换通过人机界人与计算机相互之间的双向信息交换通过人机界面实现面实现 CAD系统中的交互处理参数输入、选择、定位参数输入、选择、定位 人机交互重要性直接影响系统的使用效率直接影响系统的使用效率人机交互与多媒体研究室人机交互与多媒体研究室 3 3南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所应用接口应用接口交互任务与交互技术交互任务与交互技术输入控制方式输入控制方式构造交互式系统构造交互式系统基于知识的用户接口设计环境基于知识的用户接口设计环境网络用户接口网络用户接口互操作接口技术互操作接口技术主要内容人机交互与多媒体研究室人机交互与多媒体研究室 4 4南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所子程序包子程序包 以高级程序设计提供的图形函数为基础。繁琐！以高级程序设计提供的图形函数为基础。繁琐！应用接口 交互命令 人与计算机程序之间传递命令。专用语言 针对图形系统的高级程序设计语言。人机交互与多媒体研究室人机交互与多媒体研究室 5 5南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所应用接口 交互命令交互命令用户接口模型SeeheimSeeheim模型模型表示部分对话控制应用接口转换最终用户应用程序人机交互与多媒体研究室人机交互与多媒体研究室 6 6南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所应用接口 用户接口模型表示部分负责用户接口的物理表示用户接口的外部特性输入输出设备、屏幕布局、交互技术如何接受用户数据、数据显示形式、转化成内部表示形式唯一与设备有关的部分表示部分对话控制应用接口转换最终用户应用程序人机交互与多媒体研究室人机交互与多媒体研究室 7 7南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所应用接口 用户接口模型对话控制负责处理用户与计算机之间的对话接受用户输入序列与应用程序的输出序列合法性检查是用户接口管理系统的语法级接口表示部分对话控制应用接口转换最终用户应用程序人机交互与多媒体研究室人机交互与多媒体研究室 8 8南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所应用接口 用户接口模型应用接口 用户接口本身与应用程序之间的接口 例如，应用子程序的选择与调用 属于用户接口管理系统，又属于应用程序可调用的与应用程序通讯的子程序包对子程序的数据的限制错误恢复表示部分对话控制应用接口转换最终用户应用程序人机交互与多媒体研究室人机交互与多媒体研究室 9 9南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所交互任务与交互技术 交互任务交互处理可分解为一系列基本任务任务分类选择选择定位定位定向定向路径指定路径指定数值输入数值输入文本输入文本输入人机交互与多媒体研究室人机交互与多媒体研究室 1010南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所交互任务与交互技术 选择技术要求：确定可选择集合的大小与选择值确定可选择集合的大小与选择值拾取设备：光笔等拾取设备：光笔等形式：光笔选择光笔选择图形输入板、鼠标（定位）图形输入板、鼠标（定位）键盘输入键盘输入快捷键快捷键语音识别语音识别手写笔划输入手写笔划输入人机交互与多媒体研究室人机交互与多媒体研究室 1111南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所交互任务与交互技术 定位技术目标：指定坐标指定坐标确定维数、分辨率、形式（离散或连续）确定维数、分辨率、形式（离散或连续）技术：图形输入板、鼠标（定位）图形输入板、鼠标（定位）键入光标定位键入光标定位光笔定位光笔定位人机交互与多媒体研究室人机交互与多媒体研究室 1212南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所交互任务与交互技术 定位技术在一个坐标系内指定形体的一个方向设备控制方向角（例如游戏杆）输入角度定路径技术 应用定位和定向技术，确定一系列定位点和方向角。人机交互与多媒体研究室人机交互与多媒体研究室 1313南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所交互任务与交互技术 定量技术（模拟）电位计产生 键盘输入文本技术 键盘输入 选择语音手写等人机交互与多媒体研究室人机交互与多媒体研究室 1414南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所交互任务与交互技术 交互控制技术 橡皮筋技术 徒手画技术 拖动技术 定位技术人机交互与多媒体研究室人机交互与多媒体研究室 1515南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所交互任务与交互技术 图形拾取 目的：在图形数据库中找到该图形数据机构存放地址目的：在图形数据库中找到该图形数据机构存放地址 拾取后表现形式：高亮、闪烁、变色拾取后表现形式：高亮、闪烁、变色n n 交互式图形系统中的诸多操作的基础交互式图形系统中的诸多操作的基础n n 速度与精度极大影响系统质量速度与精度极大影响系统质量人机交互与多媒体研究室人机交互与多媒体研究室 1616南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所交互任务与交互技术 点拾取 某点附近的显示领域内包含拾取点，拾取成功某点附近的显示领域内包含拾取点，拾取成功符号集（Polymarker）拾取n n 依次拾取符号集中的每一个符号参考点依次拾取符号集中的每一个符号参考点人机交互与多媒体研究室人机交互与多媒体研究室 1717南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所交互任务与交互技术 直线段拾取P0P0在在B1 B2B1 B2之间的区域中之间的区域中P0P0到到P1P2P1P2的距离小于系统精度的距离小于系统精度r rB1B2P0P1P2r人机交互与多媒体研究室人机交互与多媒体研究室 1818南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所交互任务与交互技术 折线集（Polyline）拾取 依次判断每条直线段的显示区域是否包含拾取点依次判断每条直线段的显示区域是否包含拾取点 某一条线段满足拾取条件，拾取成功某一条线段满足拾取条件，拾取成功曲线拾取 离散为折线集离散为折线集字符串拾取 定义一个圆定义一个圆人机交互与多媒体研究室人机交互与多媒体研究室 1919南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所交互任务与交互技术 填充区域拾取依次判别多边形边界上的每条线段依次判别多边形边界上的每条线段类似类似polylinepolyline多图形覆盖确定图形拾取优先级：预先确定和动态判断确定图形拾取优先级：预先确定和动态判断用户确认用户确认三维图形拾取拾取空间为三维拾取空间为三维NDCNDC拾取区域为球和立方体拾取区域为球和立方体进行点进行点/多边形、点多边形、点/多面体等包含性测试多面体等包含性测试人机交互与多媒体研究室人机交互与多媒体研究室 2020南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所交互任务与交互技术 图形拾取加速方法 过滤法区分可拾取与不可拾取图形区分可拾取与不可拾取图形 区域粗判法外接矩形或外接圆判断外接矩形或外接圆判断 基本算法固化法点、直线段算法需要特别优化点、直线段算法需要特别优化人机交互与多媒体研究室人机交互与多媒体研究室 2121南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所输入控制方式 应用程序与输入设备之间的控制请求方式发出请求命令后设备进行处理发出请求命令后设备进行处理取样方式立即开始输入立即开始输入 将相应物理设备的值作为取样数值将相应物理设备的值作为取样数值事件方式程序设备同时工作，输入数据存于事件队列或输程序设备同时工作，输入数据存于事件队列或输入队列中，事件处理进程入队列中，事件处理进程人机交互与多媒体研究室人机交互与多媒体研究室 2222南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所构造交互式系统 交互式用户接口形式 屏幕的布局屏幕的布局 字型地选择字型地选择 色彩的搭配色彩的搭配 启动信息启动信息 窗口管理窗口管理 菜单的组织菜单的组织 图标的样式图标的样式 对话框对话框 状态栏状态栏 快捷键快捷键人机交互与多媒体研究室人机交互与多媒体研究室 2323南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所基于知识的用户接口设计环境 目标：基于知识工程，自动构造用户接口管理系统环境目标：基于知识工程，自动构造用户接口管理系统环境了解即可了解即可人机交互与多媒体研究室人机交互与多媒体研究室 2424南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所网络用户接口 网络用户界面网络用户界面 1989 1989年，年，Tim Berners-LeeTim Berners-Lee在日内瓦的在日内瓦的CERNCERN用用HTMLHTML及及HTTPHTTP开发了开发了WWWWWW网，随后出现了各种浏览器（网络用户网，随后出现了各种浏览器（网络用户界面），使互联网飞速发展起来。界面），使互联网飞速发展起来。智能网路用户界面智能网路用户界面 上网太累，用户渴望提供诸如信息筛选、组织、总结等功上网太累，用户渴望提供诸如信息筛选、组织、总结等功能。最好还能帮助用户决策。能。最好还能帮助用户决策。多通道用户界面多通道用户界面 用户表达意图、执行动作或感知反馈信息的各种通信方用户表达意图、执行动作或感知反馈信息的各种通信方法，如言语、眼神、脸部表情、唇动、手动、手势、头动、法，如言语、眼神、脸部表情、唇动、手动、手势、头动、肢体姿势、触觉、嗅觉或味觉等。肢体姿势、触觉、嗅觉或味觉等。人机交互与多媒体研究室人机交互与多媒体研究室 2525南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所互操作接口技术 为什么？为什么？CORBA&DCOMCORBA&DCOM人机交互与多媒体研究室人机交互与多媒体研究室 2626南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所虚拟现实与3D交互(here)虚拟现实和三维交互设备立体眼镜立体眼镜 头盔式显示器（头盔式显示器（HMDHMD）双目全方位监视器（双目全方位监视器（BOOMBOOM）墙式显示屏的自动声像虚拟环境（墙式显示屏的自动声像虚拟环境（CAVECAVE）三维鼠标三维鼠标 三维跟踪球三维跟踪球 三维游戏杆三维游戏杆头动位置检测器头动位置检测器 数据手套数据手套 数据衣服数据衣服 三维显示设备三维输入设备位置跟踪设备人机交互与多媒体研究室人机交互与多媒体研究室 2727南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所虚拟现实与3D交互 虚拟现实的特点沉浸感沉浸感(Immersion)Immersion)交互性交互性(Interaction)Interaction)构想性构想性(Imagination)Imagination)飞行模拟器、游戏、虚拟装配等飞行模拟器、游戏、虚拟装配等 虚拟现实的特点飞行模拟器、游戏、虚拟装配等飞行模拟器、游戏、虚拟装配等人机交互与多媒体研究室人机交互与多媒体研究室 2828南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所虚拟现实与3D交互 虚拟现实的应用人机交互与多媒体研究室人机交互与多媒体研究室 2929南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所虚拟现实与3D交互 虚拟现实的应用人机交互与多媒体研究室人机交互与多媒体研究室 3030南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所虚拟现实与3D交互 虚拟现实的应用人机交互与多媒体研究室人机交互与多媒体研究室 3131南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所虚拟现实与3D交互 虚拟现实的应用人机交互与多媒体研究室人机交互与多媒体研究室 3232南京航空航天大学飞机设计研究所南京航空航天大学飞机设计研究所虚拟现实与3D交互 虚拟现实的应用人机交互与多媒体研究室人机交互与多媒体研究室 3333