毕业设计(论文)-基于手部特征的多模态生物识别技术研究.doc

基于手部特征的多模态生物识别技术研究 基于手部特征的生物多模态技术研究摘 要随着科学技术与时俱进的脚步，人们对于安全问题的关注性也越来越高，生物识别的技术优势越加突出了其重要性，生物特征识别就是指进行身份的判断时利用人类所特有的生理特征和行为特征。但同时基于单模态的身份识别技术却有着一些缺点，比如防伪性能差，易被窃取等，本文就这一问题而提出了多模态生物识别技术，它就是通过利用多种生物特征的融合技术进行身份识别和身份验证，主要优势在提高识别效率，抗噪性、普适性等方面都有所改善。虽然近年来多模态生物识别技术已经得到了多方面各个层次的关注和重视。但是，目前该技术仍然不是十分成熟，需要我们在以后的工作中进一步研究和探讨。我们将具有丰富特征的人体手部作为本论文的研究重点，本文研究的手部的生物特征主要是基于掌纹特征和手形特征的，他们作为生物识别特征具有稳定性和唯一性，本文主要基于小波变换对生物特征进行分析，基于小波变换的生物特征提取方式，接着运用了改进后的典型相关分析方法，对所提取的手形和掌纹两种生物特征的特征向量在特征层的融合方法，此种方法主要是通过引入矫正系数，通过对投影方向上的特征矢量的调整，使准则函数值达到最大的要求。本文主要利用人手部的生物特征识别技术，分析不同种方式下的掌纹特征的提取，使掌纹和手形的这两种生物特征模态在特征层进行融合，经过实验数据得出多模态生物特征的识别率要高于任一模态下的生物识别率，实现了多模态生物融合的初步探索和尝试，为我们后续的研究和发展提供了一定的了理论依据。关键词多模态生物识别；矫正系数；特征层融合；小波变换-I-Based on the biological characteristic of hand multi-modal technology researchAbstractWith the pace of science and technology advancing with the times, people are more and more concerned about security issues. Biological recognition technology advantages more prominent its importance, biological feature identification is to identify the physiological characteristics and behavior characteristics of human beings when they are used for identification. But at the same time, there are some disadvantages in the single mode based identification technology, for example, poor security performance, easy to be stolen, etc. In this paper, we put forward a multi modal biometric technology. It is through the use of a variety of biological features of the fusion technology for identification and authentication, major advantages in improving the recognition efficiency, noise immunity, universality and other aspects have been improved. Although in recent years the modal biometric technology has been more and more attention of all levels. However, the technology is still not very mature, we need further research and discussion in future work.We will have rich characteristics of the human hand as the focus of this paper, The hand biometric is mainly based on Palmprint and hand geometry, they are as a biometric characteristic with stability and uniqueness, this paper is mainly based on wavelet transform analysis on biological characteristics of proposed biometric ,The extraction method of biological features is based on Wavelet Transform, then puts forward the improved method of canonical correlation analysis, Two kinds of fusion method of feature vector and palmprint features in the hand shape biological feature level, this method is mainly by introducing the correction coefficient, to adjust the projection direction of the feature vector, the criterion function value reached the maximum.In this paper, The use of biometric identification technology of the hand,We put forward the two modes of the palmprint and hand shape in feature level fusion, through experimental data obtained, multi-modal biometric recognition rate is higher than either mode of biological recognition rate, achieve and attempt the multimodal biometric melting of preliminary exploration ,to provide certain theoretical basis for our further research and development.Keywordsmultimodal biometric recognition；correction coefficient；feature fusion；wavelet transform-III-目 录摘 要IAbstractII第1章 绪 论11.1 研究的背景及意义11.2 生物识别技术概述21.2.1 各种生物特征的分类和比较21.2.2 多模态生物特征识别41.3 国内外研究现状51.4 论文研究的主要内容6第2章 多模态生物识别中信息融合理论与方法72.1 信息融合概述72.2 多模态生物特征识别研究72.2.1 模式源的选择82.2.2 多模态识别中信息融合层次82.3 多融合方案确定132.4 本章小结15第3章 手部图像特征提取163.1 手部特征识别现状分析163.2 手形轮廓特征提取与掌纹预处理173.2.1 手形轮廓特征提取173.2.2 掌纹预处理203.3 基于小波变换图像特征提取213.3.1 小波变换213.3.2 依据小波分解原理处理图像243.3.3 构造小波能量特征263.3.4 特征匹配273.4 基于2DPCA的特征提取273.5 本章小结28第4章 基于改进的多模融合识别294.1 典型相关分析的基本思想29- IV -4.2 特征组合原理与算法294.3 改进的典型相关分析方法304.4 特征融合算法流程314.5 结果分析324.5.1 基于小波特征能量结果分析324.5.2 基于改进典型相关结果分析344.6 本章小结36结论37参考文献38- V -第1章 绪 论1.1 研究的背景及意义伴随着社会的不断发展和进步，信息技术发展和网络覆盖也更加全面，人们对于信息的安全性要求也越来越高。在日常生活中，比如，网络，金融和国防安全等方面都需要精确的识别技术来保障人们信息的安全性并维护社会的稳定。目前，进行身份验证技术主要有两个方面，其一是通过使用实物，主要有身份证件，钥匙和卡片等，还有一种是通过虚拟手段来进行身份验证，如密码，暗号等。但是上述方法仍然存在很多不足，容易丢失、伪造和被盗用等风险。当前基于生物特征的身份认证技术的使用价值就越发明显。近年来生物识别技术做为人们研究的热点问题并被广泛的应用于各个领域。生物识别系统之所以能够如此迅速有效地完成整个生物识别过程，其中的处理过程主要包括采集图像、解码、比对和特征比配等方面。生物识别技术（Biometric Identifcation Technology）主要是通过生物统计学、计算机与生物传感器、光学等各种科学技术手段有机的结合起来，且利用人类固有的生理特点和行为特点进行身份识别和验证的技术。人体的生物特征的特点有唯一性、遗传性或终身不变等，因此在身份验证方面生物识别技术相比于传统的身份验证方法有着一定的优势，例如在安全性、保密性和方便性等方面，但这主要是借助于外物，如果被丢失，其身份就容易被他人冒充，在信息安全上面无法得到保证。这就是生物识别技术主要应用于商业，政府和司法三大领域方面的前提条件1。生物特征识别的含义比较大，可以分为两个方面：1）生理特征：如掌纹，手型，人脸，手背静脉，虹膜和视网膜等方面。2）行为特征：步态，签名和声音等方面。而我国的生物特征技术的发展现状并不是很乐观，核心技术和基础性技术还尚缺乏。要提高我国识别技术的竞争力，就要加大政府的支持力度和投资规模。从上个世纪90年代以来，虽然我国生物识别技术有了很大幅度的发展，但相对于发达国家而言，我国仍处于落后地位，未来的生物识别产业拥有广阔的市场前景，以引起各个国家的高度重视。我国已将生物识别作为一个重点研究项目，并且已对相关课题开展了讨论研究。1.2 生物识别技术概述1.2.1 各种生物特征的分类和比较生物识别技术涉及到很多相关领域和学科，例如图像采集、图像处理、信息融合、模式识别等多方面。下图是生物识别的一般过程。 图1-1生物特征识别的一般过程 Pig1-1 General process of biometric identification一直以来人们一直有一个疑问，到底什么样的生物特征才能进行生物测定呢？用于身份识别应该满足怎样的条件：普遍性：大家都有的生物特征，是普遍存在的。独特性：每个人都各不相同，而且任意两个人之间存在着比较大的差异。持久性：特征相对来说比较稳定，不会随着时间位移等方面的改变而发生改变。可采集性：特征是否易被采集或者是否能通过辅助设备测量采集得到。对一个生物识别系统是否具有实用性，主要是依靠下面几个性能来进行判断：1）接受程度: 在人们的日常生活和工作中，用户愿意或希望其进行身份识别的程度。2）性能：系统的识别精度和识别速度是否足够高，是否会受到环境等其他因素的影响等。3）抗欺骗性：系统被伪造的特征欺骗的难易程度2。总而言之，一个生物识别系统有高的精确度和识别速度，对人们无危害，对各种伪造信息具有足够鲁棒性，易被广大用户所接受。上述性能虽然满足生物识别的基本条件，但是在实际应用中，必须同时考虑系统的性能、人们对身份识别的接受性和系统的抗欺骗性等因素。从生物学角度，遗传DNA在信息鉴别方面是最可靠的，但是其有无法实时采集和获取的高成本这两方面的局限性。接下来对几种常见的基于各种生物特征的生物识别技术进行介绍：1. 声音：声音即是人体的生理特征也是行为特征，它是由多方面因素决定的（如声带、嘴型等的形状）。人的声音也会随着年龄大小、健康状况、情绪压力等原因而发生变化。声音的区分性不强，而在现实生活中，环境的噪音也是无法忽略的。所以通常情况下，基于声音的识别系统并不适合对其进行身份验证。声音识别技术是指通过采集到原始的声音信号，通过一系列的技术手段，对其特征因素进行提取和相互匹配的身份识别技术。但它同时也受到了多方面的制约如环境噪声和个体声音伪装等。2. 掌纹：掌纹是指从各个手指末端到手腕之间的手掌图像，掌纹面积较大，蕴含的纹理特征比较丰富。理论上应该比手指等更具区分性，其中很多特征可以用来进行身份验证：比如主线、皱纹、脊、谷、分叉点等，如果用高分辨的仪器进行扫描采集，那么就可以组成一种高度精确的识别系统。采集设备体积更大，对于成本要求较高。3. 签名：每个人的手写签名都有其特定的方式，签名在政府、银行、法律等方面作为一种普遍的身份认证手段。但它是一种行为特征，会随时间的变化而变化，会受到环境、情绪等多方面因素的影响。而有些仿冒者也可以复制或伪造签名进行欺骗。4. 体味 每个人身上不同的体味，反映出其不同的化学组成成分，所以一般情况下可以用于身份识别，主要原理是包含气味的空气通过化学传感器阵列，每一传感器对于特定化合物敏感，但是由于空气中也会包含除臭剂等化学成分，从而对其产生一定的影响。 5. 手形手形是指人手的几何形状特征即手的轮廓形状，手指各个位置的宽度、长度等，手形不会因为环境因素如湿润或者干燥，皮肤因素等而有影响，但是手形的唯一性并不理想，尤其是手形信息在孩子的成长过程中不断得变化，这也是手形识别的主要弊端之一。根据上面部分的阐述和介绍，可以了解到不论是何种生物识别技术都有它特定的适用范围，并且任何一种单模态生物识别技术其本身都有局限性3。从这点而言，单一生物识别技术并不是完美无缺的，并且不论在何种环境下优于其他生物识别技术的。近年来，多模态生物识别技术受到人们的广泛关注。1.2.2 多模态生物特征识别根据上述的简要介绍可知，基于单一模态下的身份特征识别与身份验证技术都只能满足部分要求，在另一方面则会有一定的缺陷，而在实际应用中单一模态都会显示出各自的局限性，多模态生物识别技术已成为热点问题进行研究。多模态生物识别（Multimodal Biometrics）技术通常是指通过几种行为特征或生理特征的相互结合来进行身份识别和身份验证的技术。此技术的关键点就在于信息融合是对所提取的多种生物特征进行的，充分利用各种生物所提供的特征信息进一步提高系统识别性能。且扩大或提高系统的覆盖范围与安全系数，使其适用面积更广。近年来，国际上著名杂志如 IEEE 的 Pattern Analysis and Machine Intelligence，和 ICCV、FG等都发表有关多模态生物识别技术的相关论文，美国设计了一种基于指纹、人脸和虹膜三种生物特征相融合的识别系统HIIDE，并应用在伊拉克战争中。近年来，该系统以逐步应用于军事方面。此外，北科慧识科技有限公司开发了基于掌脉与掌纹生物特征相融合的识别系统，它的主要优点是通过一次采集过程可以得到不同光学通道下的图像，再对获得的手掌掌纹和皮下静脉图像进行二次识别。这种系统用户更加容易接受。且仅需一次动作就完成了整个识别过程，识别精度较高4。 图1-2 北科慧识科技非接触式生物识别系统 Pig.1-2 Non-contact mode biological recognition system生物识别系统不仅给人们的生活带来了便利更提高了生活的安全性，生物识别的应用主要分为以下三类：(1)商业方面：电子数据、电子商务、信用卡、手机、计算机网络登录、医疗教育等。(2)政府方面：驾驶证、身份证、社会保险医疗、护照、ID卡等。(3)司法方面：身份辨认，犯罪记录的调查，走失儿童的认领，亲子关系DNA鉴定等。1.3 国内外研究现状在国内，多模态生物识别技术的理论研究是主要是由一些高校和科研院所从事的，核心算法的研究方面我们在国际上处于先进水平，但与国外相比，生物识别技术在产业化应用化等方面还有一定的距离与差距，虽然我国的市场需求有所增长，但也仅仅是停留在考勤和门禁等领域，部分原因是国内企业掌握的核心技术有限，国外企业垄断了与其相关的光学、通信等大部分领域。这就是我国生物识别市场于瓶颈期的主要原因。 在国外，不管是从民用还是公用，从国家安防还是消费领域都得到了广泛的应用，例如，手持式指纹设备（IBIS），主要是无限技术的嵌入，能够随时提取指纹并与数据库信息进行对比，在短时间内确认嫌疑犯。在新加坡，利用生物识别技术建立了自动通关同，游客可以凭借包含指纹信息的通行卡，由系统对持卡人和通行卡是否一致进行确认，有效的缩短入境时间。生物识别技术得到了各国的关注。 多模态生物识别方面，最早开始研究的是Brunelli等人，他们主要是利用声音和面部两大生物特征进行融合的识别系统15（这主要是由于人脸和声音在当时识别的准确率比较低，而进行融合后提高系统其准确性），并通过HyperBF 网络进行，该研究证明了其可行性。1997年，Multimodal （多模态）这一概念被首次提出，主要是将声音和人脸数据信息集成，并开发了贝叶斯统计框架。 1998年，Jain16通过研究其多模态识别理论而提出了新的识别方式，将人脸和指纹作为识别特征，前提条件是人脸和指纹信息必须相互独立，首先利用乘机进行融合，再对所获得的融合信息进行识别。在随后的几年内，Hong 和 Jain等人做了大量工作关于多模态生物识别方面。并对多模式别可以降低其认证错误率进行理论验证，为进一步研究多模式别奠定了扎实的理论基础。 2000年以来，多模式别进入了快速发展时期，伴随着生物识别技术的进步，从分类集成器的背景分离出来，成为模式识别研究的一个重要领域。不论在理论和实际应用方面都有很大发展，进一步走向实用化。1.4 论文研究的主要内容本论文主要是对多模态生物识别技术进行研究，主要是从掌纹特征和手形特征入手，深入研究掌纹特征提取技术，对掌纹进行ROI定位，在图像识别中主要进行灰度图像转换，直方图均衡化，边缘检测和中值滤波等。并且研究手形的特征提取及预处理等技术，从各个方面进行分析和研究，提出在决策级融合方法，结合掌纹和手形各自的特征，并建立应用模型。本文的组织结构安排如下：第1章：绪论。本章阐述生物识别系统研究的背景及意义，关于基于传统身份和单一模态下的生物识别方法中的不足进行了讨论，而多模态生物识别技术是当今社会有效的身份验证技术，介绍手形识别与掌纹识别发展背景与特点描述，叙述了国内外的研究现状和其发展过程，并对本论文的工作安排进行描述。第2章：对信息融合技术进行阐述，对多模态识别技术中融合层次进行划分，对融合的四个层次进行分析和比对，提出双模态生物识别方式。手形特征轮廓提取与掌纹特征区域提取等。在掌纹特征区域提取过程中又对预处理进行叙述，包括灰度转换、中值滤波等步骤。第3章：详细讲述了基于小波变换算法的掌纹特征提取，包括小波变换的基本原理、快速小波变换算法，不同级别小波分解系数的区分能力。对每个细节图像均等分，然后计算每一块的小波能量，用这些块的能量来构造基于掌纹文理的特征矢量。第4章：对于特征层融合识别进行典型相关性分析，介绍理论框架、基本思想。此种方法主要是通过引入矫正系数，通过对投影方向上的特征矢量的调整，使准则函数值达到最大的要求。通过实验数据分析两种特征融合，其一是基于手形和掌纹的特征融合，其二是基于手形与不同特征提取方法下的掌纹的特征层融合。最后，总结和展望，一方面是对全文进行回顾，另一方面是总结当前分析方法的不足还有就是在未来会遇到哪些问题，和多模态生物识别技术未来研究方向。第2章 多模态生物识别中信息融合理论与方法2.1 信息融合概述信息融合是指在一定条件下，对于按时序获得的来自于不同时间空间的多元观测数据和信息进行分析，把各种互补或者相互矛盾的信息依据某一准则进行融合，对完整、准确、有效的综合信息的获得过程。它主要对所提供各种形式的信息进行分析、估计和校准，主要适于对海量数据的进行处理，其优点主要包括以下几方面：1) 能够扩展系统在时间和空间上的覆盖范围。2) 增加系统信息利用率。3）对融合后所得信息准确度的提升。4）提高对目标识别和检测的能力。5) 降低系统投入资本。信息融合技术近年来在军事、医学等多种领域应用广泛，与此同时在民用方面也得到了长足发展，也逐步应用在多模态生物特征识别方面。信息融合技术与传统信号处理相比，关键在于处理的信息更加多元化，其形式更加复杂5。信息融合技术即是对于不同渠道和不同层次获得的信息进行分析处理，提取出对判断有利的信息，得出更能反应事物本质的决策。信息融合技术应用的几点优势：(1) 利用互补信息降低系统错误率。(2) 能够依靠不同来源的信息来提升稳定性。(3) 能够多角度获取信息。在不同层次进行信息融合，得出综合结果，它能够通过互补信息降低错误率，以提高识别度为最终目标。2.2 多模态生物特征识别研究对多模态生物特征识别研究可以进行三个类别的划分：模式来源、融合层次及融合方法。2.2.1 模式源的选择多模态系统的模式源主要有五种可供选择：（1）在同一个模式下经过各种不同传感器后所得到的多模态。（2）在不同状态、不同时刻同一模式形成的多模态。（3）在不同匹配算法与不同描述下，同一生物体所形成的多模态。（4）不同单元间在同一模式下多模态的形成。（5）多模式形成的多模态。以上五种模式来源，第一种是指多模态产生的方法，仅能解决在传感器方面的误差，对其他问题却无能为力；第二三种是指产生多模态的方法，对系统性能提高有一定帮助，但它们与单一模态有着同样的不足。第四种则需要提供不同的单元。为了达到所构建的多模态系统匹配精度高、抗噪能力强等，最好的办法是用以上方式完成对模式源的获取。2.2.2 多模态识别中信息融合层次单模态生物识别在图像采集过程中容易受到外界环境的干扰，识别过程中错误率较高，特征容易丢失，存在一定的安全隐患等问题，任何一种生物特征都有一定的局限性，不能完全适用于任何情况，仅仅依靠单模态生物特征没有办法解决根本问题，而当前多模态生物特征能够弥补单模态下的不足，这也是多模态生物特征识别成为当前研究热点的主要原因。多模态生物特征识别是对多种生物特征的融合，涵盖着多种信息，更加全面的反映出事物的本质，与单模态相比，伪造难度有所提升，成本上升的同时，它的安全可靠性也提高了。多模态生物特征识别是指将多个生物特征在不同层次进行融合，再用融合特征进行生物识别的过程，信息融合主要被划分为四个层次6，如图所示： 图2-1 多模态融合层次划分 Pig2-1 Multi modal fusion hierarchy1.图像层融合： 图像层融合是多模态融合中最低层次的融合方式，融合过程是在原始数据层上面进行，对没经过预处理和特征提取的原始数据进行分析和综合，主要是将不同渠道、不同路径所获得的信息不经过任何处理融合后得到一副新图像，该图像包含着大量信息而且处理相对比较复杂，在实际应用中不太广泛。例如，指纹识别常用到的条型式指纹传感器，在识别过程中由于每一幅图像含有的信息比较少，主要是多幅图像进行拼接，最后合成一幅可以进行识别的图像。2.特征层融合对不同种生物特征信息经过预处理操作后，得到各自的特征矢量，按照某规则将这些特征矢量进行融合，形成一种新的特征，最后对所获得新特征与数据库中的信息进行匹配和判别，虽然其处理数据相对较少，效率也比较高，但是也有其缺点，就是各个特征是两联合有可能存在维数差异，各特征不兼容的状况出现。特征层融合是对多模态各种有效特征的充分利用，包含信息丰富，发展空间较大。它的优点是有效的信息压缩使其能够进行实时处理，对其进行决策分析更加有利。特征层示意图如2-2： 图2-2 特征层融合示意图 Pig2-2 Sketch of feature layer fusion在特征层融合的操作过程中通常会遇到许多困难：（1）不同模态所对应的提取特征数据类型有可能并不相兼容，比如指纹，它有谷、脊、交叉点等特征；虹膜的特征提取一般是二进制码；人脸特征向量的特征维数是固定。（2）特征空间在不同模态下的对应的关系也并不明确。（3）不同特征融合方法，需要新的特征匹配方式与其对应。3.匹配层融合匹配层融合属于中间层次的融合，首先它对单模态生物特征独立进行特征向量处理与匹配，输出对应的匹配分数，将这些分数进行决策融合最终实现身份识别。主要优点是有较高的灵活性。近年来，主要依靠以下两种策略进行匹配层融合算法研究：（1）组合判定：是指通过采用相对简单的规则操作对不同模态的生物特征进行融合，主要是把融合看做是简单的分数组合的判定问题7。简单规则一般是指乘法规则、加法规则等。（2）二级分类器：是指将N种不同模态下的生物特征所对应的所有匹配分数看做是一个维数是N的特征向量。从而把匹配层融合的问题转换成是对N维特征向量进行分类的问题，这样一来，可以用许多方法来处理该问题，包括神经网络、最近邻分类器、模糊积分（Fussy Integral）、Fisher线性判别分析等，都得到了广泛应用。 图2-3 匹配层融合示意图 Pig4-3 Schematic diagram of matching layer fusion4.决策层融合是指把不同识别单元看作是互相独立的单元，首先对每个生物特征进行识别得出一个决策结果，再进行融合。决策层融合主要优点：传输数据量低。灵活性高。当有信息出现错误，能通过适当融合而得到正确结果，有一定的容错率。抗干扰能力强等。它的宗旨是利用最小的信息来获得最大性能。决策规则主要有：与规则、或规则、加权的投票和投票等方法，“与”、“或”规则是最简单的融合方法，Daugman 等人研究指出，与规则能够降低错误接受率，或规则能够降低错误的拒绝率，下面就这一问题还会进行详细介绍，示意图如2-4所示: 图2-4 决策层融合示意图 Pig4-4 Schematic diagram of decision level fusion融合层次的比较与识别系统：1. 融合层次比较：信息融合的每个层次都有各有优缺点和适用范围。数据层和特征层融合都需要关联和配准多源信息，决策层融合需要对关联数据8。但是其相关和识别的顺序不同，数据层融合是指进行配准和关联针对的是原始数据，特征层融合配准和关联是对特征向量，之后再识别；决策层融合则是先识别，再关联各个决策结果，得到判定结果。如果关联和配准对多个信息源的信息数据，理论上来讲，数据层融合是融合效果最好的，主要是它保持的原始数据比较多。决策层融合对传感器的要求较小，它可以是同质的或者不同质的。但是，必须要求各个信息源得到的信息之间是互相独立的，否则决策层融合的分类性能要偏低于特征层融合。只有综合考虑各个因素的影响才能确定特定的应用在哪个层次进行融合比较好。目前而言，能够对所有情况都适用的普遍结构是不存在的。2. 生物识别系统：对生物识别系统主要进行四个部分的划分：分别为图像采集、特征提取、模式匹配和分类决策。下面对个部分功能作用进行详细介绍，如图2-5。 图2-5 生物特征识别系统 Pig2-5 Biometric identification system图像采集：是利用一些图像辅助设备来获取生物特征信息的图像数据，由于采集得到的原始图像存在噪声等因素的影响，一般进行灰度转换、中值滤波、边缘检测等处理过程，来获取准确稳定的数据9。特征提取：将复杂的信息通过某种对应关系简单表示。其特征数量相对较少，所包含的信息能够代表原始数据的特征，与其他特征又有很好的区分性和差异性。模型匹配：主要在于分类器的设计与选取，利用某一匹配规则来进行相似性分析，得出匹配 分数，用这个匹配分数来对匹配结果进行判断。分类决策：根据大量实验和统计结果来进行阈值的设定，再与匹配分数进行比较，综合判断分析，最后得出匹配结果。2.3 多融合方案确定一个生物识别系统通常包括三种操作模式：1.身份注册：接受所提供的人体生物特征信号，并对特征信号进行预处理与特征提取，再将提取的特征数据存入数据库中。2.验证：系统接受到生物特征信号再进行预处理与特征提取，再与数据库中模板匹配，再进行判断。3.识别：从匹配结果能够找出最为相近的模板，确定该模板是否是这个对应用户的身份。本文主要基于“手形+掌纹”多模态生物识别进行研究，并确定多模融合为在特征层的融合方案，主要从下面两种方案进行生物识别技术的进一步研究，现阶段特征融合可分为两种10：（1） 手形特征与掌纹特征进行多模态生物特征融合。（2） 手形特征与采用不同方式所获得的掌纹特征在特征层进行生物融合。虽然它们都是以获得更多的分类信息为主要目的，但是性质却并不相同，可以把第一种融合看做是横向的，严格意义上讲就是一种多模态生物识别技术，掌纹特征与手形特征是多模态生物特征的两个部分，这种方式下，虽然每种模态下生物特征都是单独提取的，它们在物理层面上是相互独立的，所得特征更容易获取互补的信息，为进一步识别提供良好基础。识别过程可以如图2-6所示： 图2-6 多模生物特征融合 Pig.2-6 Multi-modal biometric fusion第二种方式是对生物识别的一种纵向研究，掌纹特征包含着丰富的信息，但是每一种特征提取方式都是对某一侧面信息的获取，显而易见，信息获取的更加全面才能对识别更加有利，此种方式中，掌纹特征是通过多种方式进行提取的，能够更加充分的利用掌纹信息。识别过程如图2-7所示： 图2-7 多特征下的多模融合 Pig.2-7 Multimode multi feature fusion2.4 本章小结本章中详细描述了关于掌纹和手形特征区域提取过程及所应用到的图像处理方面的相关算法知识。例如图像格式转换，中值滤波等，提并详细的阐述基于手型轮廓的特征定位与基于掌纹的ROI定位。本文选用二维主成分分析方法提取特征，在此基础上提出基于“掌纹+手形”的双模态生物识别。并确定特征融合方案。基于不同方法所提取的手形与掌纹图像进行特征层融合，进行实验分析。第3章 手部图像特征提取3.1 手部特征识别现状分析在本文进行手部图像的分析时就是指基于掌纹与手形识别现状分析，接下来分别就手形识别与掌纹识别进行描述11。1. 手形识别：手形识别的识别方式是基于手部几何轮廓所进行，手形识别应用在生物识别领域已经有很长一段时间了，在安防系统中已经有广泛应用，手形特征具有较高的稳定性，而且不易受到外界环境因素的变化而发生改变，近些年来，随着科学技术的不断发展，国际上对与基于模式识别的手形识别技术也越来越关注。手形识别是一种生物识别技术，它主要是继指纹识别之后的又一个重要识别方法，它的主要优点有操作简单、认证速度快、成本相对较低。现阶段已经被广泛的应用在考勤等系统中，手形产品与指纹产品基本上已经持平，手形识别以成为国内外生物识别技术市场中又一主力产业，手形在一段时间内是保持稳定的，可以将手形作为手部生物识别特征之一进行研究讨论，通常手形识别分为二维与三维两种识别，当前虽然无人能够伪造出手形三维识别技术，但其三维手形在技术方面存在一定的难度，本文主要是对手形二维图像进行研究。手形识别的主要特点：画面质量要求不高，硬件设备成本低；需要存储空间小，特征简单；匹配速度较快，算法简单。但是手形数据不是很丰富，对于识别效果不是很好，区分度不高：随着时间年龄变化，手形并不具有永久不变性。2. 掌纹识别：手掌是人体手部较大的一个区域，掌纹就手掌上面深浅纹路和褶皱的总称，古代常把掌纹用于命相学研究，说明掌纹可以作为手部特征之一进行有关于生物识别方面的研究。当前阶段，在美国、日本、英国等发达国家，掌纹识别技术已经进入到实用性阶段，2006年，富士通面向全球推出掌纹识别系统，并在手持移动设备上应用；日本将掌纹识别系统应用在ATM机上面，在美国，医院、警察局等一些相关部门也都启用了手掌识别系统。在国内，虽然研究和发展相对较晚，但却有较快的发展速度，主要的应用方面有：近年来。在上海出现的道肯奇掌纹识别系统，仅限于都与高档住宅小区的门锁系统和国际机场的门禁系统，在2006年的下班年中，中国科学院开发出了三套基于网络摄像头的非接触式的掌纹自动识别系统、基于PDA平台的掌纹识别系统和在背景固定条件下的自由式掌纹识别系统。掌纹识别的主要特点：与指纹识别相比，掌纹识别和案件诉讼等的关联性比较小，容易被用户接受；掌纹的面积比较大，涵盖着足够多的信息，能够更好的进行区分；主要特征明显且稳定，不容易受到噪声干扰；因为受伤等外界因素而影响采集图像质量的可能性小。3. 手形与手掌特征比较：从下面表格我们可以知道，手掌与手形在特征处理方面有着各自的优缺点，而我们采用双模态融合可以弱化其缺点。下面就对“手形+掌纹”组合中的两种生物特征进行比较分析： 表3-1 手形与掌纹特征比较 Table3-1 Comparison of the hand feather and palmprint feather 手形特征手掌特征图像品质较好一般防伪性能一般很好预处理简单，快速复杂，耗时特征处理简单，快速复杂，耗时准确性低高 3.2 手形轮廓特征提取与掌纹预处理3.2.1 手形轮廓特征提取边缘通常是指图像在该位置处其灰度值突然改变的像素点所构成的集合，想要提取出来我们所感兴趣的手部特征，先要得到手形轮廓边缘像素点的集合，提取