生物认证技术省公共课一等奖全国赛课获奖课件.pptx

自感人脸识别技术自感人脸识别技术 Automatic face Recognition Technology电自081曹宇驰10080643电自081李书天10080667电自082陈骥川1008066612月第1页21人脸识别意义与感性认识人脸识别意义与感性认识2人脸识别现实状况人脸识别现实状况3人脸识别过程人脸识别过程4人脸识别方法人脸识别方法5人脸关键技术人脸关键技术6人脸识别系统开发与试验工具人脸识别系统开发与试验工具第2页3人脸识别感性认识人脸识别感性认识1人脸识别意义人脸识别意义2人体生物认证技术人体生物认证技术3人脸识别系统人脸识别系统第3页n人脸识别是一个活跃研究领域，是人类视觉最出色能力之一。即使人脸识别准确性要低于虹膜、指纹识别，但因为它无侵害性和对用户最自然、最直观方式，使人脸识别成为最轻易被接收生物特征识别方式。第4页人脸识别是人体生物认证技术一个，人脸识别是人体生物认证技术一个，首先我们谈谈人体生物认证技术首先我们谈谈人体生物认证技术n人体生物生物特征包含人体生物生物特征包含生理特征生理特征和和行为特征行为特征两大类。两大类。人体人体生理特征生理特征主要包含人脸、指纹、掌纹、掌形、主要包含人脸、指纹、掌纹、掌形、虹膜、视网膜、静脉、虹膜、视网膜、静脉、DNADNA、颅骨等，这些特征是、颅骨等，这些特征是与生俱来，是先天形成；与生俱来，是先天形成；而而行为特征行为特征包含声纹、署名、步态、耳形、按键节包含声纹、署名、步态、耳形、按键节奏、身体气味等，这些特征是由后天生活环境和生奏、身体气味等，这些特征是由后天生活环境和生活习惯决定。活习惯决定。n这些生物特征本身固有特点决定了其在生物认证中这些生物特征本身固有特点决定了其在生物认证中所起作用是不一样。表所起作用是不一样。表1 1对各种生物认证技术作了对各种生物认证技术作了一个简单比较。一个简单比较。第5页生物特征识别：生物特征识别：人脸 脸部热量图 指纹 手形 手部血管分布 虹膜 视网膜 署名 语音 第6页7基于生物特征身份认证n生物特征生物特征=生理特征生理特征+行为特征行为特征n生理特征生理特征n与生俱来，如与生俱来，如DNADNA、脸像、虹膜、指纹、脸像、虹膜、指纹等等n行为特征行为特征n后天习惯使然，如字迹、步态等后天习惯使然，如字迹、步态等第7页8人体生物特征起源于传统身份认证问题n基于知识身份认证基于知识身份认证n轻易忘记轻易忘记n轻易被盗轻易被盗n轻易攻击轻易攻击n基于令牌身份认证基于令牌身份认证n轻易丢失轻易丢失n轻易被盗轻易被盗n轻易伪造轻易伪造n知识知识+令牌令牌第8页第9页10惯用生物特征比较生物特生物特征征普遍性普遍性独特征独特征稳定性稳定性可采集可采集性性性能性能接收程接收程度度防坑骗防坑骗性性人脸人脸HighHighLowLowMediumMediumHighHighLowLowHighHighLowLow指纹指纹MediumMediumHighHighHighHighMediumMediumHighHighMediumMediumHighHigh手形手形MediumMediumMediumMediumMediumMediumHighHighMediumMediumMediumMediumMediumMedium虹膜虹膜HighHighHighHighHighHighMediumMediumHighHighLowLowHighHigh视网膜视网膜HighHighHighHighMediumMediumLowLowHighHighLowLowHighHigh署名署名LowLowLowLowLowLowHighHighLowLowHighHighLowLow声音声音MediumMediumLowLowLowLowMediumMediumLowLowHighHighLowLowA.Jain,L.Hong and S.Pankanti.“Biometrics:Promising Frontiers for Emerging Identification Market”，Communication ACM,第10页人脸识别意义nBillGates:以人类生物特征进行身份验证生物识别技术，在今后多年内将成为IT产业最为主要技术革命第11页12生物特征评定n普遍性普遍性 Universality n唯一性唯一性 Uniqueness n恒久性恒久性 Permanence n易采集性易采集性 Collectability n系统性能系统性能 Performance(achievable identification accuracy,resource requirements,robustness)n用户接收程度用户接收程度 User Acceptancen防坑骗能力防坑骗能力 Resistance to Circumvention第12页13各种生物特征市场份额统计第13页生物认证技术市场收入预测14第14页15人脸识别应用n人脸识别系统在金融、证券、社保、人脸识别系统在金融、证券、社保、公安、军队及其它需要安全认证行业公安、军队及其它需要安全认证行业和部门有着广泛应用和部门有着广泛应用n经典应用经典应用n罪犯调查罪犯调查n访问控制访问控制n人员考勤人员考勤n重用门票重用门票n驾驶执照驾驶执照n电子商务电子商务n信用卡信用卡n准考证准考证n身份证身份证第15页人脸识别人脸识别人脸识别因识别方式友好、可隐蔽而备受学术界和工业界关注（但人脸识别不是万能）第16页17人脸识别军事应用人脸识别军事应用n导弹基地、军火库房等要地门禁或通道导弹基地、军火库房等要地门禁或通道控制控制n核能设施等主要军事装备开启控制核能设施等主要军事装备开启控制第17页几个人脸识别系统介绍n1.中科奥森人脸识别系统n2.南京理工人脸识别n3.深圳康贝尔人脸识别系统第18页1.中科奥森人脸识别系统第19页n本系统采取了当前最先进人脸检测与识别技术，含有些人脸获取隐蔽，识别速度快，检测与识别率高，鲁棒性好、安全性高和实用方便等优点，可广泛应用于家庭安全监控、办公室安全监控、通道监控等很多方面，推广应用前景领域遍布家庭、办公、军队、政法、银行、物业、海关、互联网等。第20页第21页第22页1.中科奥森人脸识别系统（续）n国际首创近红外人脸识别关键技术，包含算法思绪、软件技术、以及光学和电子硬件设计。n国内首创中远距离(大于5米)人脸识别关键技术和系统。该系统能够在中远距离快速准确、稳定地跟踪多个人脸，并能在侧脸，后脑勺状态保持跟踪，算法到达国际先进水平。将人脸识别与智能监控相结合是一项全新技术。n自主产权处理了环境光照对人脸识别不利影响等国际难题，实现了快速准确可靠、不受环境光照影响人脸识别技术，能预防照片模型等非法攻击，系统性能到达国际领先水平。该系统已在我国深圳-香港通关口岸成功运行多年。n经过中国信息安全产品测评认证中心身份认证产品与技术测评中心权威测评。n系统产品丰富,能够支持从几个人到万人级识别,。并采取国际标准接口，能够无缝接入现有安全防范系统。n支持各种数据库系统，可建立高效索引机制实现快速查询。模块化组网方式，集合TCP/IP和RS485总线传输优点，适合各种形式或规模应用。n支持与其它密码/生物特征识别等技术逻辑组合运算，实现更严格安全管理.。n含有自主知识产权关键技术，包含以下功效：近红外/可见光人脸识别、人脸图像对比和检索、监控状态下中远距离人脸识别，场景智能监控及报警等。第23页其领军人物李子青n李子青,获湖南大学学士、国防科大硕士、英国Surrey大学博士学位。辞去新加坡南洋大学终生教职，加盟微软亚洲研究院。年作为“百人计划”入选者来到中科院自动化所，现为中科院自动化所生物识别与安全技术研究中心主任。第24页n在微软研发人脸识别系统EyeCU，比尔.盖茨接收CNN采访为之讲解。n在中科院自动化所研发“AuthenMetric中科奥森”人脸识别系统和智能视频监控系统，已包含北京奥运会和边境检验等多个国家重大安全部门实施并发挥作用。第25页n北京奥运开幕式人脸人脸识别识别门票查验现场观众人人脸脸身份验证第26页n中科院人脸识别技术成功用于奥运会开幕式n8月8日，数万名观众由国家体育场鸟巢100多个人脸识别系统快速身份验证关口有序入场，参加北京奥运会开幕式。据悉，该验证系统是由中科院自动化所研制。第27页第28页第29页2.南京理工人脸识别n南京理工人脸识别其领军人物是杨静宇老教授。n杨静宇教授于19821984年在国际模式识别领域权威美国伊利诺斯大学CSL试验室T.S.Huang教授指导下从事模式识别理论研究。一生功勋卓越：他先后在国内外学术刊物和国际学术会议上发表论文余篇，出版论（译）著本，指导【博士后】研究人员人，培养【博士】硕士人。第30页第31页n他培养57多名博士，如今都已成为各个单位骨干。其中最著名是：n杨健博士（32岁当教授），获全国百篇优异博士论文提名奖，他在模式识别顶级刊物IEEETPAMI上发表两篇论文，当前已经分别被国内外学者和教授引用180屡次和近60次。n刘克教授曾取得了第三届霍英东教育基金会青年教师基金和青年教师奖。n洪子泉博士在国际上首次提出了基于代数特征人脸识别方法。n金忠教授发表在PatternRecognition上关于不相关判别分析论文，曾收到著名Thomson企业贺信，祝贺该论文被引用次数位于同一领域引用次数最高百分之一以内。第32页n，杨教授在相继接收国际著名学术期刊PatternRecongnitionLetters主编、Neurocomputing主编邀请，加盟上述两大国际学术期刊编委会，成为两大国际学术期刊编委(AssociateEditor)。上述两大国际学术期刊对遴选编委会组员要求非常高，PatternRecongnitionLetters在中国仅有四位编委，杨健教授是当前中国编委中最年轻一位，其它三位分别来自清华大学、中国科学院和微软亚洲研究院杨老师n首次提出2DPCA方法和在判别分析方面研究结果已引发国内外相关领域学者广泛关注。n国内模式识别研究领域权威、西安交通大学校长郑南宁院士最近在国际著名期刊IEEEIntelligentSystems上发表题为“中国图象处理和模式识别50年回顾”论文中，着重指出了杨教授在基础研究方面四项研究结果，并强调说“2DPCA与2DLDA方法是本世纪初源于中国”。第33页n“911”事件是生物特征认证技术在全球发展一个转折点。“911”以后生物识别技术主要性被全球各国政府愈加清楚地认识到。传传统身份判别技术统身份判别技术面临反恐任务时所表现出来缺点，使得各国政府在研究与应用上对生物特征识技术开始了大规模投资。n在美国：三个相关法案（爱国者法案、边境签证法案、航空安全法案）都要求必须采取生物生物识别技术识别技术作为法律实施确保。总体上来说，国外生物认证技术应用已经进入了以政府应用为主阶段。第34页深圳康贝尔人脸识别系统第35页第36页第37页n人脸识别门禁系统人脸识别大型场馆准入系统第38页人脸识别在银行金库应用人脸识别在银行金库应用n中国人民银行要求全部金库安防监控系中国人民银行要求全部金库安防监控系统都要有些人脸识别功效统都要有些人脸识别功效第39页n联合国国际民用航空组织(ICAO)已对188个组员国公布了航空领域使用生物特征认证技术规划，提出将在个人护照中加入生物特征(包含指纹识别、虹膜识别、面相识别)，并在进入各个国家边境时进行个人身份确实认。当前，此规划已经在美国、欧盟、澳大利亚、日本、南韩、南非等国家和地域经过，从底就开始实施了。第40页人脸识别技术在国外研究现实人脸识别技术在国外研究现实状况状况n当前很多国家展开了相关人脸识别研究，主要有美国，欧洲国家，日本等，著名研究机构有n美国MITMedialab,AIlab,CMU（卡耐基-梅隆大学）Human-ComputerInterfaceInstitute，MicrosoftResearch,n英国DepartmentofEngineeringinUniversityofCambridge（剑桥大学）等。n综合相关文件，当前方法主要集中在以下几个方面：第41页综合相关文件，当前方法主要集中在以下几个方面：n（1）模板匹配n（2）示例学习n（3）神经网络n（4）基于隐马尔可夫模型方法除此以外，n基于AdaBoost人脸识别算法，n基于彩色信息方法，n基于形状分析方法，n以及多模态信息融合方法，国外都进行了大量研究与试验。第42页研究现实状况研究现实状况国际上对人脸及人脸面部表情识别研究现在逐步成为科研热点。国内外很多机构都在进行这方面研究,尤其美国、日本。进入90 年代,对人脸表情识别研究变得非常活跃,吸引了大量研究人员和基金支持,EI 可检索到相关文件就多达数千篇。美国、日本、英国、德国、荷兰、法国等经济发达国家和发展中国家如印度、新加坡都有专门研究组进行这方面研究。其中MIT、CMU、Maryland 大学、Standford 大学、日本城蹊大学、东京大学、ATR 研究所贡献尤为突出。国内国内清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学、北方交通大学等都有些人员从事人脸及人脸表情识别研究 第43页人脸识别技术在国内研究现实人脸识别技术在国内研究现实状况状况n国内关于人脸自动识别研究始于二十世纪80年代，主要研究单位有中科院自动化所计算所，清华大学，南京理工大学，哈尔滨工业大学，复旦大学，北京科技大学等，并都取得了一定结果。第44页n国内研究工作主要是集中在三大类方法研究：n基于几何特征人脸正面自动识别方法n基于代数特征人脸正面自动识别方法n基于连接机制人脸正面自动识别方法。第45页n周激流实现了含有反馈机制人脸正面识别系统，利用积分投影法提取面部特征关键点并用于识别，取得了比较满意效果。他同时也尝试了“稳定视点”特征提取方法，即为使识别系统中包含3D信息，他对人脸侧面剪影识别做了一定研究，并实现了正，侧面相互参考识别系统。n彭辉、张长水等对“特征脸”方法做了深入发展，提出采取类间散布矩阵作为产生矩阵，深入降低了产生矩阵维数，在保持识别率情况下，大大降低了运算量。n程永清，庄永明等对同类图像平均灰度图进行SVD分解得到特征脸空间，每一幅图像在特征脸空间上投影作为其代数特征，然后利用层次判别进行分类。n张辉，周洪祥，何振亚采取对称主元分析神经网络，用去冗余和权值正交相结合方法对人脸进行特征提取和识别。该方法所用特征数据量小，特征提取运算量也较小，比很好地实现了大量人脸样本存放和人脸快速识别。n北京科技大学王志良教授主要研究人工心理，建立了以数学公式为基础心理学模型。第46页人脸识别过程人脸识别过程第47页48人脸识别过程n登记过程登记过程n识别过程识别过程n一对一验证过程一对一验证过程n一对多区分过程一对多区分过程第48页49登记过程第49页50一对一验证过程第50页51一对多区分过程第51页自感人脸识别系统自感人脸识别系统所谓自感人脸识别系统，是指不需要人为干预，能够自动获取人脸图像而且区分出其身份系统 一个自感人脸识别系统最少要包含三个部分，即数据采集子系统、人脸检测子系统和人脸识别子系统“人脸识别”有时是指整个自感人脸识别系统所做工作，有时是指人脸识别子系统所做工作数据采集数据采集子系统子系统人脸识别人脸识别子系统子系统人脸检测人脸检测子系统子系统自感人脸识别系统识别结果：He is!第52页人脸检测与人脸识别研究内容(1)人脸检测（FaceDetection）人脸检测（FaceDetection）是指在输入图像中确定全部些人脸（假如存在）位置、大小、位姿过程。人脸检测是自感人脸识别系统中一个关键步骤。(2)人脸识别人脸识别细分为两类，一类是回答我是谁问题，即识别（Identification），另一类是回答这个人是我吗？即确认（Verification）。显然，用于Identification模式识别系统对算法运算速度要求要高于Verification模式识别系统。第53页n从人脸自动识别技术所依据理论来讲，人脸检测与人脸识别都是模式识别问题。n人脸检测是把全部人脸作为一个模式，而非人脸作为另一个模式，人脸检测过程就是将人脸模式与非人脸模式区分开来。n人脸识别是把每一个人人脸作为一个模式来对待，不一样人脸属于不一样模式类，人脸识别过程是将属于不一样人脸归于各自模式。n换句话说，人脸检测强调是人脸之间共性，而人脸识别则要区分不一样人脸之间差异，二者同属于模式分类问题。第54页第55页应用人脸识别第56页第57页人脸检测与人脸识别评价标准n定义1：检测（Detection）指对人脸图像进行检测和定位过程。n定义2：拒检（DetectionRejection）指不能正常检测到人脸或人脸不能定位以及人脸检测失败。n定义3：拒检率DRR（DetectionRejectionRate）指被拒检人脸图像占统计总数百分比，用百分比表示。n定义4：比对（Matching）指以人脸特征与另一人脸特征比较过程。n定义5：匹配相同度（Similarity）人脸特征比正确输出结果，代表参加比正确两个人脸特征相同程度。用0到1之间小数表示，该数字愈大表示比正确人脸特征相同程度愈大，该数字愈小表示参加比正确人脸特征相同程度愈小。第58页n定义6：错误拒绝FR（FalseRejection）指定某匹配相同度为判定阈值，在来自于同一个个体人脸特征之间比对，其结果（匹配相同度）小于设定阈值。即指授权人不能被正确接收比率。n定义7：错误接收FA（FalseAcceptance）指定某匹配相同度为判定阈值，在来自于同一个个体人脸特征之间比对，其结果（匹配相同度）大于设定阈值。即指非授权人错误判断为授权人比率。n定义8：错误拒绝率（FalseRejectionRate）指发生FR比对次数占总统计比对次数百分比，用百分比表示，也叫拒真率。n定义9：错误接收率FAR（FalseAcceptanceRate）指发生FA比对次数占总统计比对次数百分比，用百分比表示，也叫错误经过率，或认假率。n定义10：相等错误率EER（EqualErrorRate）指在某给定匹配相同度下，FAR与FRR相等时错误率，即FAR=FRR。第59页n定义11：登陆时间（EnrollmentTime）从一幅人脸图像获取后，进行人脸检测、定位和特征提取所花费时间，此时间是数学统计平均值，用毫秒（ms）表示。n定义12：比对时间（MatchingTime）比较两张人脸特征所花费时间，此时间包含文件读写时间数学统计平均值，用毫秒（ms）来表示。或者是将一张人脸特征与一定数量人脸特征进行比对所花费时间总和，表示为毫秒/万人。n定义13：首选识别率（FirstHit）匹配相同度最大人脸是正确人比率。即将识别结果按照匹配相同度从大到小排列，排在第一位人脸就是正确被识别人比率。n定义14：累计识别率（FirsnHit）正确识别结果在前N个候选人中比率。即将识别结果按照匹配相同度从大到小排列，在前N个结果中存在被识别人比率。第60页本征脸本征脸（eigenfaceeigenface）方法方法是人脸识别基准技术，并已成为实际上工业标准该方法基于主成份分析（PCA）PCA是将分散在一组变量上信息集中到某几个综合指标（主成份）上数学方法，实际上起着数据降维作用，并确保降维过程最大化保留原数据差异这对最大化类间差异（即不一样人之间差异）并最小化类内差异（即同一人不一样图像间差异）很有效用PCA将2维数据降到1维例子，绿色点表示二维数据，PCA目标就是找到这么一条直线，使得全部点在这条直线上投影点之间平均距离最大。也就是最大化地保留了原数据差异性第61页本征脸方法本征脸方法u直接计算C 本征值和本征向量是困难，能够经过对矩阵 做奇异值分解间接求出um值选择：假如将本征向量恢复成图像，这些图像很像人脸，所以称为“本征脸”M.Turk&A.Pentland,JCN91第62页本征特征（本征特征（eigenfeature）方法）方法利用PCA分析眼、鼻、嘴等局部特征，即本征特征方法 R.Brunelli&T.Poggio,TPAMI93 A.Pentland et al.,CVPR94这实际上相当于：为若干主要特征建立本征空间，然后将多个本征空间集成起来第63页本征脸本征脸 vs.本征特征本征特征本征脸利用全局特征，本征特征利用局部特征，二者各有优势待识别图像本征脸识别结果本征特征识别结果 A.Pentland et al.,CVPR94第64页本征脸本征脸 vs.本征特征本征特征(2)(1)(3)(4)难题能否自动确定：该用哪些特征？（眼睛？鼻子？嘴？）特征确切位置在哪儿？（从哪儿到哪儿算眼睛？）将二者结合，能够得到更加好识别效果一样，这实际上相当于：为若干主要特征建立本征空间，然后将多个本征空间集成起来因为嘴部受表情影响很严重，所以未考虑嘴部特征第65页试验结果试验结果 X.Geng&Z.-H.Zhou,unpub04FERET人脸数据库上结果(3)(2)(1)(4)(2)(1)(3)(4)待识别图像出现在算法返回前Rank个图像中SEME选择特征本征脸+本征特征所用特征第66页SEME可扩展性可扩展性SEME训练（计算）开销很大，但只需训练一次 X.Geng&Z.-H.Zhou,unpub04将FERET人脸数据库上选择出本征空间集成直接用于ORL（左）和BioID（右）这两个人脸数据库结果第67页人脸识别关键问题n1.人脸面部形态（面型、眼睛、鼻子）n2.人脸识别中视觉特征（早期MARR理论框架3个层次计算理论、算法、实现机制；现多层次）n3人脸识别中光照问题n4.人脸识别中姿态问题第68页关键技术n人脸检测n图像预处理n人脸特征选择n人脸识别第69页学科基础n面部运动测量技术n图像处理技术n人脸检测跟踪技术n面部特征提取算法n面部特征模式识别算法第70页面部特征提取算法n几何特征提取n统计特征提取（主成份、2维主成份、线性判别分析法、独立成份分析法）n频率域特征提取（Gabol、离散余弦）n运动特征提取n代数特征提取第71页面部特征模式识别算法n线性判别分析（Fisher线性判别）n支持向量机SVMn贝叶斯网络n隐马尔可夫模型及其基本问题n人工神经网络n含糊模式识别第72页人脸识别系统设计与实现人脸识别系统设计与实现n人脸识别系统总体设计n人脸识别系统算法设计n人脸识别系统实现第73页人脸识别系统开发与试验工具人脸识别系统开发与试验工具nIntel开源计算机视觉库OpenCV介绍nhttp:/ OpenCVn访问http:/ OpenCV 中碰到问题中碰到问题n阅读FAQ汉字n在OpenCV邮件列表（http:/