Kinect20教程.pptx

Kinect2.0技术介绍提纲Kinect2.0技术简介Kinect2.0技术的基本原理Kinect2.0技术的开发Kinect2.0技术与Unity3D游戏引擎的集成Kinect2.0技术的范例Kinect2.0技术简介什么是Kinect2.0技术微软Kinect是一种3D体感技术摄影机,具有即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。You are the controller是Kinect的宣传语；Kinect彻底突破了人机的控制界限；于是，有人说：“Kinect是继鼠标和多点触摸技术之后，第三次人机交互革命已经点燃。”Kinect2.0技术简介Kinect技术的用途计算机应用、游戏各种各样的体感游戏机器人视觉与控制、3D建模室内三维场景重建物联网智能化领域、医疗医疗康复领域中的“智能化运动分析和训练系统”教育领域基于Kinect for Windows的幼儿教育解决方案Kinect2.0技术简介Kinect2.0技术的发展过程2009年6月，微软在E3大展上，正式公布的XBOX360体感周边外设，代号为“Project Natal”。使人机互动的理念更加彻底的展现出来。2010年6月，微软召开名为“初生计划全球首秀”的发布会，宣布“Project Natal”正式命名为“Kinect”。至此，Kinect正式诞生。并2011年4月，在北美正式发售，售价为149.99美元。2011年6月，微软发布Kinect for windows SDK beta。在此之前，Kinect一直局限于Xbox平台，随着SDK的推出让人们能够有机会在更普及的Windows设备上体验体感交互方式的魅力。Kinect2.0技术简介Kinect2.0技术的发展过程在Kinect for Windows SDK推出后不久，微软发布了Kinect for Windows专用的Kinect传感器，并于2012年10月在中国正式上市。此后，SDK一直在不断地更新。2013年5月微软在发布新一代Xbox One的同时也发布了全新的Kinect体感外设。同年11月，微软进行了Kinect2.0的预发布，一些开发人员优先获得了Kinect2.0传感器抢先版，以及测试版开发包。2014年7月，正式版本的Kinect for windows v2.0以及SDK 2.0 发布。Kinect2.0技术简介与Kinect技术竞争的平台或技术Ps Move 索尼全称PlayStation Move动态控制器，它和PlayStation3 USB摄影机结合，创造全新游戏模式。PS MOVE不仅会辨识上下左右的动作，还会感应手腕的角度变化。所以无论是运动般的快速活动还是用笔绘画般纤细的动作也能在PS MOVE一一重现。Wii（任天堂）2006 发布了wii游戏机，是任天堂公司的一次巨大的改革。其中，wii主要以简单、运动为主要游戏模式。Kinect2.0技术的基本原理工作原理由红外投影仪主动投射近红外光谱，照射到粗糙物体、或是穿透毛玻璃后，光谱发生扭曲，会形成随机的反射斑点（称为散斑），进而能被深度摄像头读取。深度摄像头分析读取到的红外光谱并生成深度图。四个麦克风内置数字信号处理器DSP等组件，同时过滤背景噪声，来定位声源方向。硬件系统组成三只眼睛+四只耳朵Kinect2.0技术的基本原理硬件系统组成三只眼睛：彩色摄像头、深度（红外）摄像头、红外线投影机彩色摄像头：用于拍摄视角范围内的彩色视频图像。红外投影机：主动投射近红外光谱，照射到粗糙物体、或是穿透毛玻璃后，光谱发生扭曲，会形成随机的反射斑点（称为散斑），进而能被红外摄像头读取。深度（红外）摄像头：分析红外光谱，创建可视范围内的人体、物体的深度图像。Kinect2.0技术的基本原理硬件系统组成四只耳朵：四元线性麦克风阵列声音从4个麦克风采集，内置数字信号处理器DSP等组件，同时过滤背景噪声，可定位声源方向。Kinect2.0技术的基本原理Kinect2.0技术的基本原理基本功能彩色图像、IR图像、深度图像人体索引、人体骨骼、语音识别Kinect2.0技术的基本原理基本功能彩色彩色红外红外深度深度Kinect2.0技术的基本原理基本功能人体索引人体索引人体人体语音识别语音识别Kinect2.0技术的基本原理性能参数彩色数据：1920 x 1080 30 or 15 fps（帧/秒）彩色图像有多种格式可以选择，如：Rgba，Yuv，Yuy2等红外（IR）数据：512 x 42430 fps（帧/秒）每个像素16-bit Kinect2.0技术的基本原理性能参数深度数据：测量范围：0.5-4.5米每一个像素为16-bit，该数据表示从深度（红外）摄像头到该物体的距离，单位毫米。人体索引：Kinect用一个字节表示当前深度坐标下该像素的人体编号。目前最大支持6人。每像素数据值0-5：表示被跟踪的人体索引编号-1（0 xFF）：未发现人体Kinect2.0技术的基本原理性能参数人体：测量范围：0.5-4.5 米帧数据是一个人体25个关节点的集合，每个帧都包含关节的3D位置和方向最多支持6个人体30 fps（帧/秒）可以识别其中两个人体的手势人体跟踪的三种状态：Not tracked、Inferred、TrackedKinect2.0技术的开发Kinect2.0技术开发工具SDK：Kinect for Windows SDK2.0.exe可在官网http:/ 上下载。Kinect2.0硬件系统要求：64 位（x64）处理器物理双核 3.1 GHz（每个物理 2 个逻辑核心）或更快的处理器专用的 USB 3.0 总线（英特尔和瑞萨控制器）2 GB RAM支持 DirectX 11 的显卡（Intel HD 4000,AMD Radeon HD 6470M,NVIDIA Geforce 610m,AMD Radeon HD 6570）Windows 8 或 8.1Kinect2.0技术的开发Kinect2.0技术开发工具SDK：Kinect for Windows SDK2.0.exe下载安装成功后会有出现如下三个工具：Kinect2.0技术的开发Kinect2.0技术开发工具配套开发工具：Kinect Studio v2.0、Visual Gesture Builder v2.0、SDK Browser V2.0其中，点击运行SDK Browser V2.0会出现如下界面：Kinect2.0技术的开发Kinect2.0技术开发工具配套开发工具：然后，运行第一个程序例子可以验证你的电脑是否能够运行Kinect 2.0。正确运行结果截图：Kinect2.0技术的开发Kinect2.0技术开发工具开发环境：支持多种平台支持Windows Store开发支持 Unity Pro 平台开发Kinect2.0技术的开发Kinect2.0技术开发工具：支持多种平台支持Windows Store开发支持 Unity Pro 平台开发Kinect2.0技术的开发Kinect2.0技术开发技术资料的来源网站：豆丁网 http:/ http:/ 教程:官网教程http:/ 官网教程或是看例子Kinect2.0与Unity3D游戏引擎的集成Kinect2.0技术的Unity3D插件官方插件：KinectForWindows_Unity_1409(Pro Only).unitypackage插件使用及功能详细说明新建unity工程导入插件KinectForWindows2.0_Unity.unitypackage导入成功后，控制面板内容如下：Kinect2.0与Unity3D游戏引擎的集成Kinect2.0技术的Unity3D插件插件使用及功能详细说明进入Kinect文件夹中可以看到其中有很多封装好的类文件。Kinect2.0与Unity3D游戏引擎的集成Kinect2.0技术的Unity3D插件插件使用及功能详细说明将与官方插件同级目录下的两个文件夹拷贝到该项目工程的Assets文件夹下。上面所说的两个文件夹分别带有一个场景可以直接运行、查看。Kinect2.0与Unity3D游戏引擎的集成Kinect2.0技术的Unity3D插件插件使用及功能详细说明两个场景代码展示：Kinect2.0与Unity3D游戏引擎的集成Kinect2.0技术的Unity3D插件插件使用及功能详细说明数据引用基本流程:source-reader-frame-data其中一种数据源（source）可以有多种阅读器(reader)、数据源种类：ColorFrameSource、DepthFrameSource、InfraredFrameSource、BodyFrameSource、BodyIndexFrameSource。Kinect2.0与Unity3D游戏引擎的集成Kinect2.0技术的Unity3D插件插件使用及功能详细说明数据引用基本流程:以生成彩色图像为例说明代码：获取到当前已经开始运行的Kinect。存储对获取到的KincectSensor对象的引用关闭Kinect。释放Kinect引用。Kinect2.0与Unity3D游戏引擎的集成Kinect2.0技术的Unity3D插件插件使用及功能详细说明数据引用基本流程:以生成彩色图像为例说明代码：打开ColorFrameSource 数据流。用来读取并存储ColorFrameSource数据流。读取ColorFrameSource 上一振帧数据。程序关闭时，释放资源。Kinect2.0与Unity3D游戏引擎的集成Kinect2.0技术的Unity3D插件插件使用及功能详细说明数据引用基本流程:以生成彩色图像为例说明代码：打开ColorFrameSource 数据流。用来读取并存储ColorFrameSource数据流。读取ColorFrameSource 上一振帧数据。程序关闭时，释放资源。提问