学士学位论文—-基于手势识别的家居智能遥控项目申报书(创新).doc

项目级别项目编号大学生创新创业训练计划项目申请书（创新训练项目）项目名称： 基于手势识别的家居智能遥控项目负责人： 薛嘉雯 指导老师： 汤华莲 所在院系： 微电子学院 研究起止时间：2016年 12月至 2018年6月 西安电子科技大学教务处 二一六年十月制填表说明一、填写申请书前，请先查阅教务处网站关于国家级大学生创新创业训练项目管理办法及申请通知。二、申请书的各项内容，要实事求是，表达要明确、严谨。第一次出现的缩写词，需注出全称。三、项目申请书要按顺序逐项填写，空缺项要填“无”。要求一律用A4纸双面打印，于左侧装订成册。可网上下载、自行复印或加页，但格式、内容、大小均须与原件一致。电子版填表字体用小四号宋体，单倍行距，申请书一式五份交到各学院办公室。四、项目申请书中栏目“一至九”由学生填写，栏目“十至十二”由教师填写，栏目“十三、十四”由项目负责人所在学院填写。项目名称基于手势识别的家居智能控制项目来源导师课题 自主选题 竞赛项目 其它来源 申请经费（范围2000-10000元）6500项目完成时间2018年6月申请人(团队)姓名学号性别身份证号码专业班级手机E-mail薛嘉雯14140210026女6101041996100461411414021班153199678001145448666黄钰丹14140210021女3206811996022752281414021班13813612729877197281郝俊艳14140210016女1404021997011824221414021班137599243302320934015一、 项目组成员情况介绍（包括自身具备的知识条件，有何特长、兴趣，参加哪些科技事件创新活动等）薛嘉雯，微电子学院集成电路设计与集成系统专业大三学生，具备数据处理以及物理建模的能力，学习过嵌入式的相关知识，有一定的MATLAB、LINGO、Arduino等的编程能力。学习能力强，获得过国家奖学金、校一等奖学金和校二等奖学金，星火杯院级二等奖，大学生高等数学竞赛陕西省一等奖，全国大学生数学建模竞赛陕西省一等奖。有较强的学习能力，善于与人沟通。黄钰丹，微电子学院集成电路设计与集成系统专业大三学生，具备较高的英语水平，对硬件的研究与开发有浓厚的兴趣，参加过数学建模等竞赛的论文撰写，擅长撰写学术类论文。学习成绩优异，获得过校一等奖学金、校三等奖学金。做事稳重，有吃苦耐劳的精神。郝俊艳，微电子学院集成电路设计与集成系统专业大三学生，具备MATLAB编程及51单片机的相关知识，参加本科生科研项目训练计划，具有较强的图像处理能力，参加过星火杯以及研究生课题。获得过校一等奖学金，国家励志奖学金两次。二、项目研究背景（可以是已有的基础，与本项目有关的研究积累和已取得的成绩，已具备的条件，尚缺少的条件及方法等）1、 手势识别作为当下的热点研究方向，随着计算机技术的发展，人机交互的中心开始从计算机向人的方向转移。基于计算机视觉的手势识别方法能够提供更加友好的人机交互方式，是手势识别技术发展的趋势和目标。手势识别研究可以应用于课堂辅助教学、电子书阅读、远程控制计算机上软件以及游戏娱乐等多个方面，具有广泛的应用前景。同时，通过对计算机手势识别的研究，可以在一定程度上促进心理学、计算机图形学、医学以及机器人工程等诸多学科的发展。2、 目前基于数据手套的识别系统穿戴复杂，价格昂贵，大量推广比较困难；基于表面肌电和加速度的手势识别穿戴仍然复杂而且不美观；基于软件的识别系统速度比较慢，不能实时反映出当前的手势。3、 图像处理的特点是数据量大和实时性，而且图像处理的算法一般比较复杂，在一个系统时钟周期内不可能完成实时处理的算法，所以常常采用流水线设计，这种结构正是FPGA的强项，而且FPGA的并行处理速度快，FPGA可以有很快的采样速率，从而保证了实时性。除此之外，FPGA在功耗、成本、小型化和开放时间也有一定的优势。4、 就目前的形势来看，智能家居是未来生活的一种发展趋势，不仅是年轻一代，在中年老年人间也愈来愈受欢迎。智能家居产品已经多多少少开始渗透到我们普通的家庭中，智能插座、智能灯泡、安全摄像头、智能锁和智能恒温，几乎我们生活的各个方面都已经开始变得智能化。人机交互界面将从现有的图形化界面（主要使用于触屏的视窗与键盘滑鼠的操作方式）发展到实体使用界面。手势识别技术将在智能家居中大量应用。目前手势控制是近年智能家居的发展方向，随着科技的进步，朝着更加人性化的方向发展，基于手势识别的智能家居控制方式将会变得更为系统、智能，也会越来越普及。三、 国内外的研究现状及研究意义国内外研究现状 手势识别算法方面Seong Og Shi等人在使用惯性装置和肌电扫描传感器的前提下，利用隐马尔科夫模型来对手势进行识别，将其运用到对移动机器的控制上，并获得了不错的效果。Hyunjin An 等人使用3D 深度信息来做势识别，先定义了五种手势，然后利用深度信息检测出手，再通过识别出手的手指个数来控制虚拟赛车游戏 。韩国 Inda 大学和 Korea Polytechnic 大学的 Jong ShillLee，YoungJooLee等人的实验显示对于六类手势识别，平均识别率在 95%以上。许多国外大公司也对手势识别的研究很感兴趣，投入很多资金用于手势识别的研究和开发，并且获得比较满意的成果。2012年由三星公司推出的 ES8000 智能电视比以往的电视在智能方面有很大的提升，该款电视机集成了手势识别、面部识别、语言识别对一些基本的控制操作，比如音量调节、换台、开关机等操作都可以用手势来完成。智能家居应用方面早在20世纪80年代初，美国的康乃迪克州哈特佛市出现首座智能建筑City Place Building，主要对照明等设备进行智能监控，从此智能家居拉开帷幕。80年代末，随着信息与通信技术的发展，出现了对住宅中各种通信、家电、安保设备通过总线技术进行监视、控制与管理的商用系统，这在美国称为Smart Home，也就是现在智能家居的原型。在我国，智能家居起步比较晚，20世纪90年代末才崭露头角，得益于政府的政策法规和市场支持，智能家居发展速度较快。台湾国立成功大学陈建旭老师指出，未来智能家居生活中的实体使用界面的概念，除了把实体操作物与数位资讯加结合外，最重要的是让人有自然而且直觉的使用界面。台湾国科会人本智慧生活整合中也与国立成功大学合作，研究居家照护所需相关系统研发应用，整合多种智慧感测装置，感测屋内人员的活动状况互动回馈方式提供安全便利的生活环境。其中成功大学展示的优质生活体验屋是无线网路为控制的智慧屋，考虑到生活情境，创造智慧化的人性生活空间，建构互动式实体生活情境。 研究意义随着现代社会对生活质量要求的提高以及对智能化家庭的不断追求，发明一种新的高效的人机交互方式日益成为人们研究的重点方向。随着科技的快速发展及智能家居的应用不断扩大，尤其在家居生活方面，人机交互在多领域得到了广泛的应用，居住者不再需要调整自己的行为被动适应机器要求，而是用更为智能的方式让机器听懂人类语言，人机交互的发展使我们的生活更加便捷更加智能化。智能家居是一种生活趋势，人机交互作为日常家庭生活中的一个重要部分，不仅影响到居住者的生活方式，也直接关系到居住者的舒适性和便利性。1997年美国麻省理工学院实体媒体研究小组的石井裕教授就提出实体使用界面的概念，跳脱现有的图形化界面，不再局限于触屏的视窗与键盘滑鼠的操作方式。可见，实体使用界面是对现有图形化界面的补充和丰富，是人机交互的发展趋势，也是解决智能家庭中人机关系中的重要一环。其中，手势作为一种和谐的人机交互方式，吸引了越来越多研究者的关注。手势识别技术是指由手型动作辅助表情姿势为符号构成的手语识别的一种识别技术。在此识别技术基础上进行智能控制的手势控制技术是今后几年内智能家居中人机交互模式识别领域的一项重要研究内容，引起全世界众多学者和企业的高度重视，被认为是智能家居和个人消费电子产品领域的制高点。手势识别不但具有广阔的实际应用前景，而且具有深远的研究意义，大体可体现在以下几个方面： (1)提高计算机的人类语言理解水平和促进实体使用界面应用技术的发展。作为人类交流的主要方式之一，手势可作为人机交互的一种自然交互的手段，使得现有的图形化界面得到极大补充和丰富。 (2)相关技术具有通用性强、应用面广、兼容性好等优点，应用前景广阔。技术应用于智能家居人机交互界面，改善居住者的舒适性和便利性，还可利用手势去控制虚拟现实场景中的智能体，可应用于机器人的示范学习等。 (3)有利于带动电子信息产业深度转型，推动产业升级。国家数字家庭工程技术研究中心主任、中山大学教授罗笑南认为，智能家居跟千家万户的生活息息相关，产业链涉及了内容创意、软硬件、电信、互联网、广播电视服务等信息产业的许多方面，具有高融合性、高附加值特点，倍增和带动效果显著。四、项目研究的目标及主要内容研究目标:（1） 通过OV7620摄像头进行手势图像采集，并建立手势样本库；（2） 利用FPGA进行图像的处理、手势的分割和特征的提取，然后通过与手势 样本库中的手势样本进行匹配对输入的手势进行识别；（3） 设计学习型红外遥控模块并调试；（4） 控制学习型红外遥控模块发送手势对应的按键信息，达到控制家用电器的目的。主要内容:图1手势识别过程框图根据图1所示框图的处理过程，首先将用户做出的手势通过摄像头转换成手势图片，该过程便是手势图像的采集过程，本项目采用FPGA直接控制摄像头的方式来完成手势图像的采集任务。由于采集到的手势图片包含有各种各样的噪声，因此要对噪声信息进行相应的滤除，在进行手势识别时，一张图片中不仅包含用户的手势信息，并且还有复杂的背景信息，而对于手势识别而言，只需要用户的手势信息，不需要其它的图像信息，因此我们要通过手势的分割去除图片中的各种冗余信息。该过程主要通过一种改进的肤色模型算法来实现，根据肤色阈值来进行手势的分割，分割完成之后就需要对分割出来的手势图像进行特征的提取，在特征提取阶段，本项目主要采用Hu不变矩及归一化的周长面积比来作为静态手势图像的分类特征。根据得到的手势特征及手势样本库中的手势样本，我们可以根据模板匹配的方法来实现手势的识别。动态的手势识别则根据前后帖的运动关系进行识别。最终，通过FPGA将识别结果用于驱动学习型红外遥控模块来控制不同的家用电器执行对应的操作。另外，以上所述所有的图像处理过程，都需要通过FPGA芯片来实现所有的算法处理，可以将时间开销较大的算法通过FPGA的并行流水线处理方式进行相应的改进，以此来达到手势识别遥控器的实时性要求。1. 图像采集图2 图像采集部分电路板结构系统采用FPGA作为核心芯片，系统中各个模块的相互连接都直接或者间接的采用FPGA来完成，使得系统的设计具有较大的灵活性，可以根据系统需求和数据流的特点来设计各个外部器件接口，另外FPGA未连接的引脚可以连接到板上的测试点，可以为后期系统扩展做准备，或者在系统调试的时候把需要测试的信号引到这些引脚上，方便调试。关于摄像头的选取，经查阅资料认为OV7620摄像头最为合适。OV7620 是CMOS彩色黑白图像传感器。它支持连续和隔行两种扫描方式，VGA与QVGA两种图像格式；最高像素为664492，帧速率为30fps；数据格式包括YUV、YCrCb、RGB三种，能够满足一般图像采集系统的要求。2. 图像预处理（滤波处理）在图像的采集和处理过程中都会不同程度地引入进来各种各样噪声干扰，导致图像的质量变差，影响目标的分割以及最终的识别，因此必须对图像进行滤波处理。在进行孤立点噪声去除方面，中值滤波能够有效地去除噪声点，从而使滤波后的图像变得更加的平滑。中值滤波区别与其他线性滤波器的优点是它能够在去除噪声信息的同时不会对图像的边缘信息进行模糊处理，能够很好的保留原始图像的边缘信息以及图像的清晰质量。中值滤波其实就是将一个像素点周围的8个像素点值加上本身像素点值然后再求中值，用计算得到的中值来替换该像素点的像素值，便完成了中值滤波的一次运算操作。中值滤波的表达式可定义为:式中：为输出像素灰度值，为输入像素的灰度值，则为模板窗口。另外，窗口可根据图像滤波处理的具体需要取线状、方形或者圆形等。 3手势分割手势分割是将有意义的区域（即手势）从包含手势的连续图像序列中划分出来，是手势识别最先也是最困难的一步。其好坏程度将会对识别效率和识别效果产生直接的影响。其主要方法有基于颜色、运动信息、模板匹配和局部区域信息的手势分割方法。4.特征提取图像特征有两类表示方法, 一类是轮廓特征, 另一类是区域特征。图像的轮廓特征主要针对物体的外边界, 常使用链码, 傅里叶描述子、Hough变换进行描述; 图像的区域特征则关系到整个形状区域, 常用边界特征法、傅里叶形状描述符法、几何参数法、形状不变矩法和小波描述符(Wavelet Deor)等方法描述。Hu不变矩作为形状不变矩的其中一种计算方式, 具有平移、比例和旋转不变性, 这使其在在图像识别的过程中, 能减少如待测图像的大小归一化与位置居中等预处理步骤, 降低运算成本, 提高运算速率。5.手势识别手势识别就是把模型参数空间里的轨迹（或点）分类到该空间里某个子集的过程。静态手势对应着模型参数空间里一个点，而动态手势则对应着模型参数空间里的一条轨迹，因此它们的识别方法有所不同。静态手势识别算法包括基于经典参数聚类技术的识别和基于非线性聚类技术的识别。6.目标驱动即学习型红外遥控模块的实现学习型遥控器具有拷贝功能，可以拷贝任意一款固定码遥控器，学习型遥控器就相当于钥匙坯子，可以刻出任意形状的钥匙。只要将学习型遥控器出厂码清除，然后拷贝原遥控器。新配的遥控器就具有原遥控器的所有功能。随着科技的进步无线遥控器也扩展到了许多种类，简单来说常见的有2种，一种是家电常用的红外遥控模式（IR Remote Control），另一种是防盗报警设备、门窗遥控、汽车遥控等等常用的无线电遥控模式（RF Remote Control）。红外遥控的特点是不影响周边环境、不干扰其它电器设备。由于其无法穿透墙壁，故不同房间的家用电器可使用通用的遥控器而不会产生相互干扰；电路调试简单，只要按给定电路连接无误，一般不需任何调试即可投入工作；编解码容易，可进行多路遥控。红外遥控在家用电器、室内近距离（小于10米）遥控中得到了广泛的应用。因此本项目将采用学习型红外遥控模块实现对目标家居的驱动。五、项目创新特色概述1.由基于软件变为基于硬件FPGA芯片，处理速度快；2.只需做手势，手上不需带任何器械，方便且成本较之于穿戴式系统低廉；3.将手势识别技术应用在远程自动控制领域；4. 提出使用一种学习型红外遥控模块进行家用电器的学习控制，通过学习可以用一个手势遥控器完成对多个不同家用电器的控制。并且最终将手势识别系统的输出与学习型红外遥控装置相关联，能在不改变现有家用电器结构的前提下直接使用；5.将手势识别与软件图像处理技术相结合，通过手势远程控制电器的开关及其工作模式，使操作者在不与家居开关直接接触的情况下，方便的进行控制。六、项目实施方案及实施计划前期a、查阅有关论文，整理和收集国内外手势识别技术研究现状的资料。b、学习并熟悉FPGA的调试开发以及学习型红外遥控模块。c、画出原理图，购买相关器件并进行电路搭建，完成电路的前期准备工作。中期a、对相关模块进行调试，实现图像的采集功能，并建立手势模板库。b、研究图像算法，实现手势建模，实现静态手势和单摄像头的识别并对手势识别正确率进行测试。c、实现动态手势和多摄像头的识别并对手势识别正确率进行大量的测试并不断的进行代码优化。d、通过测试结果不断改进图像算法，使动态手势识别更加精确。e、完成学习型红外遥控模块的调试。后期a、通过测试，进行软硬件的改进，最终实现远程手势控制。b、完成展示模型的制作。c、总结项目经过及结果，撰写相关文档和论文，准备国创结题工作。七、 成员分工情况1、薛嘉雯、黄钰丹负责前期资料的阅读和收集，以及利用FPGA完成视频采集,完成中期原理图的制作，及最后的整体调试。2、薛嘉雯、郝俊艳负责图像处理和相关算法的实现，并进行代码的优化。3、薛嘉雯、郝俊艳、黄钰丹共同负责申请材料的撰写以及答辩PPT的制作。八、预期成果及成果形式预期成果：摄像头采集到手势图像后，将摄取的图像传给FPGA，FPGA通过图像预处理、手势的分割和特征的提取，然后与手势样本库中的手势样本进行匹配对输入的手势进行识别处理，将分析结果传给学习型红外遥控模块，从而实现手势识别对电视机、机顶盒、空调等家用电器的遥控。 成果形式：1、 完整硬件系统功能展示；2、 撰写项目报告，发表相关论文。九、资助经费使用计划（支出项目、计算根据及理由）资金安排单价（元）数量预算金额（元）OV7620摄像头2002400FPGA开发板200012000学习型红外遥控模块1003300SDRAM1002200实验耗材费1000资料费1000论文发表费1000其他费用600总计6500申请人签名： 年 月 日 导 师姓名性别出生年月职称/职务研究领域所属院系手机E-mail十、指导教师科研项目情况十一、指导教师能否提供实验场地，如何解决实验场地的问题十二、指导教师意见及具体的指导计划 指导教师签名： 年 月 日十三、评审委员会意见 组长（签字）： 年 月 日十四、学院意见 负责人（签字）： （公章） 年 月 日十五、学校意见负责人（签字）： （公章） 年 月 日十六、省教育厅评审意见： （公章） 年 月 日