热释电红外信号人体运动特征识别.pdf

1994-2010 China Academic Journal Electronic Publishing House.All rights reserved.http:/热释电红外信号人体运动特征识别3王林泓1,龚卫国1,23 3,贺莉芳1,肖 红2,黄宜民2(1.重庆大学 光电技术及系统教育部重点实验室,重庆400044;2.重庆建设工业有限责任公司国防科技工业技术中心,重庆400054)摘要:根据人体在热释电红外(PIR)探测器的检测区域内沿不同路径和不同方向运动时信号在时域及频域的分布特点,提出一种基于单只PIR探测器信号的人体运动特征识别方法。首先提取人体PIR信号的频谱和短时频谱能量特征;然后进行主元分析(PCA)特征降维,根据典型相关分析(CCA)进行特征融合;最后采用最小二乘支持向量机(LS2SVM)方法进行分类识别。实验以不同人体、不同运动方式的PIR探测器数据为研究对象。分析结果表明,提出的特征提取、特征融合及识别方法能有效地对人体运动特征进行识别。关键词:热释电红外(PIR)探测器;运动特征识别;典型相关分析(CCA);最小二乘支持向量机(LS2SVM)中图分类号:TP391.4 文献标识码:A 文章编号:100520086(2010)0320440204H uman motion recognition using pyroelectric infrared signalW ANG Lin2hong1,GONG Wei2guo1,23 3,HE Li2fang1,XIAO Hong2,HUANG Yi2min2(1.Key Lab of Optoelectronic T echnology and System of Ministry of Education of China,Chongqing University,Chongqing 400044,China;2.Science&T echnology Center of National Defense Industry,ChongqingJianshe Indus2try Co.,Ltd,Chongqing,400054,China)Abstract:Based on the distributions of a human walking within the view field of a pyroelectric infrared(PIR)detector along different paths or directions,a human motion recognition method using output sig2nal of single PIR detector is presented.Fourier transform and short time Fourier transform(STFT)ener2gy of the PIR signal are calculated as motion features,then principle components analysis(PCA)is usedto reduce thefeature dimensions,and canonical correlation analysis(CCA)is applied to featurefusion.Fi2nally,least square support vector machine(LS2SVM)is adopted to classify the feature vectors.Experi2mental results show that the proposed feature extraction,feature fusion and recognition method are effi2ciently for human motion recognition.K ey w ords:pyroelectric infrared(PIR)detector;motionfeature recognition;canonical correlation analysis(CCA);least square support vector machine(LS2SVM)1 引 言 生物特征识别是利用人的生理或行为特征实现身份识别的技术1,人体运动视觉分析是其中最活跃的研究方向之一2。视频图像3及红外图像4是人体运动特征分析的主要手段,但各种成像设备价格昂贵,并且检测及识别算法复杂度高,运算量大。为此,在特定的场合,利用热释电红外(PIR,py2roelectric infrared)探测器进行人体运动特征识别是一种很好的选择。PIR探测器在常温下能够有效检测出探测区域内的移动红外辐射源,实现运动人体的检测。由于成本低、功耗小和环境适应性强等特点,目前已广泛应用于安防系统、照明控制及摄像机的辅助控制中。文献56采用多个分布式布局的PIR探测器实现了对运动人体的追踪。而程卫东等7则用单个探测器实现了对不同人体沿固定路径,以不同速度行走时的运动特征识别。但目前利用单只PIR探测器对人体运动特征中的运动路径及运动方向识别的研究很少。典型相关分析(CCA,canonical correlation analysis)是在线性空间中寻求同一模式的两组不同特征矢量相关关系的方法。在人脸8,9、人脸表情10及字符识别11等领域用于实现特征融合,并取得了很好的识别效果。最小二乘支持向量机(LS2SVM,least square support vector machines)是标准支持向量机(SVM)的扩展,具有计算复杂度有低,求解速度快的优点。光 电 子 激 光第21卷 第3期 2009年3月 Journal of OptoelectronicsLaserVol.21 No.3Mar.2010 收稿日期:2009207211 修订日期:20092082303 基金项目:国家“863”计划资助项目(2007AA01Z423);国家“十一五”基础研究资助项目(C10020060355);重庆市科技攻关计划资助项目(CSTC2007AC2018);重庆市重点科技攻关项目(CSTC2009AB0175)3 3E2m ail: 1994-2010 China Academic Journal Electronic Publishing House.All rights reserved.http:/ 根据人体运动路径与运动方向的信号特点,在分析采集的大量不同人体不同运动方式的数据的基础上,本文提出一种基于信号频谱及短时频谱能量的CCA融合特征及LS2SVM分类方法,用于人体运动特征的分类识别。实验结果表明,所提出的方法能有效识别人体的运动特征。这为安防系统及智能家居系统中的PIR探测器准确、有效地报警提供了理论及技术的保证。2 基本原理2.1 人体运动特征提取PIR探测器输出的信号容易受到各种高频噪声的污染,不利于特征信息的提取。因此,根据菲涅尔透镜、人体运动速率和PIR传感器本身的特性分析得到6,采用0.0110 Hz的带通滤波器对信号进行滤波,可有效解决噪声污染问题。去噪后的信号再进行快速傅里叶变换,就可获得一种用于分类的人体运动特征信息。当人体穿越探测器明暗视区时,探测器输出时变信号的峰值正负相间。信号相邻过零点的时间差可以反映一定的运动趋势,即运动方向由近到远时,穿越明暗区的时间将增加,过零点的时间将变长;而从远处向近处运动时,穿越明暗区的时间将减少,过零点时间相应的变短;如果沿着圆弧路径运动过零点的时间差将保持不变;若随机行走则过零点的时间也表现出随机性。信号过零点的时间变化趋势可以利用信号的短时傅里叶变换频谱(STFT,short time Fourier transform)能量来表示。离散STFT把时变信号分解到时间2频率域,从而提供每个信号频谱能量随时间的演化趋势。离散STFT定义为STFTn(ejk)=x(m)w(n-m)e-jkm(1)式中:k=2k/N,是角频率,k=0,1,N/2-1;N是信号的总长度;w(m)是短时分析窗,长度为L,如果需重构要求LN。由于窗函数的时间移位和频率移位使短时傅里叶变换具有局域特性,它既是时间函数也是频率函数,对某一时刻n,STFTn(ejk)表示该时刻局部频谱。傅里叶变换和短时频谱变换将信号从时域变换到频域,利用主元分析(PCA)方法对上述两种特征进行特征提取,然后再用分类器进行分类。由于提取的同一运动方式的频谱特征和STFT能量特征有一定的相关性和差异性。因此,通过CCA方法对两种特征进行融合,以获得更有效的分类信息。2.2 人体运动特征融合CCA是利用降维的思想,研究两组变量之间的相关关系。用CCA方法可以剔除多个信号的冗余信息,提取不相关的典型特征。CCA特征融合方法步骤为12:1)对于频谱与短时频谱能量训练样本Xmk和Ymk,首先计算协方差矩阵Sxx、Syy及互协方差矩阵Sxy,其中m是频谱特征维数,k为训练样本个数,n为短时频谱能量特征维数;2)计算S-1yySyxS-1xxSxy或者S-1yySyxS-1xxSxy的非零特征值及对应的标准正交特征向量ui、vi(i=1,2,r);3)根据i=S-1/2xxui、i=S-1/2yyvi(i=1,2,r)计算所有典型投影向量,取前d对投影矢量构成变换矩阵W=WxWy;4)利用线性变换Z=WTXY计算组合的特征向量,并用于分类。3 实验与结果分析3.1 实验设计 采用RE200B型(Nipppon Ceramci公司生产)双元红外传感器及SUNSTAR商斯达实业集团的7703型菲涅尔透镜,选用上面的两层(上层8个透镜,下层4个透镜),焦距为3.05cm。探测器安装在距离地面2 m高的墙壁上。根据不同运动对保护对象的威胁程度不同,定义6种人体运动,如图1所示。运动1、2和运动3、4的路径与探测器中心线夹角分别为+45 和-45,运动方向分别从近到远和从远到近;运动5为沿垂直探测器中心线或弧线路径运动;运动6为随机行走路径、随机方向。6位不同的测试对象在探测区域内以1.52.5 m/s速度按规定的运动方式行走,同时用DSO6012A型示波器以100 Hz采样率对探测器输出的信号进行采集。图1 运动特征定义Fig.1Motion feature definition 实验获得的不同运动特征的频谱如图2所示。由于所用探测器的明暗区域间隔为0.000.56 m,结合运动速度及实际分析结果,实验选择有效信号的频谱上限为3 Hz。由图2可见,不同运动的频谱特征存在一定的差异性,但对具有相同运动路径的运动方式,频谱特征差异不明显。因此提取能反应运动方向信息的STFT能量特征。不同运动方式的时域波形及其相应的STFT能量波形,如图3所示。从图3可见,具有相同运动方向的两类运动的短时频谱能量相似。运动5时域过零点时间保持不变,所以对应的STFT能量值在相应的时间段波动不大。运动6的STFT频谱能量在整个时间域分布,没有显著的峰值。3.2 运动特征识别LS2SVM是标准SVM的一种扩展,将SVM中的二次规划问题转变为线性方程组的求解,从而简化了计算的复杂性,提高了求解速度。有6类运动特征属于多分类问题,利用一对一144第3期 王林泓等:热释电红外信号人体运动特征识别 3 1994-2010 China Academic Journal Electronic Publishing House.All rights reserved.http:/方法实现SVM的多分类。1)基于单一特征的识别。每种运动随机选取40组训练样本,20个测试样本。利用PCA方法对频谱及短时频谱能量特征分别进行降维,然后利用一对一最小二乘方法分类(选用线性核函数),分类结果如图4所示。2)基于融合特征的识别。特征融合的方法有特征级联及CCA特征融合2种方法。在特征融合前,首先要对原始特征进行归一化处理,归一化公式为X3=(X-X)/X,Y3=(Y-Y)/Y(2)图26种运动频谱图Fig.2Spectra of six motions图36种运动的时域波形及其STFT能量分布图Fig.3W aveforms and the corresponding STFTenergy distributions of six motions其中,X和Y、X和Y分别为训练样本的均值向量及标准差向量。利用特征级联融合特征分类的方法是将归一化处理后的频谱及STFT能量级联,然后用PCA降维后进行分类。分别计算6种运动方式的融合特征向量形成的变换矩阵W,训练LS2SVM分类器。测试时,利用Z=WTXY,将测试样本投影到新的特征空间并进行分类。图4为采用不同特征下的分类识别结果。从图4可见,在维数为14时,采用频谱特征的识别率最大为88.4%;STFT特征识别率在维数24时最高为86.4%。利用特征级联的融合方法时,识别率在维数37时最大为90.6%。由于采用级联特征,使得特征空间信息增多,识别率有一定的提高,但两种特征信息只是简单的连接在一起并没有利用它们244 光 电 子 激 光2010年 第21卷 1994-2010 China Academic Journal Electronic Publishing House.All rights reserved.http:/之间的关联性。为此,采用CCA特征融合方法时,维数仅为5时识别率就可达到100%,高于特征级联的识别率9.4%。这是因为在采用单个特征或特征级联,经PCA变换后提取到的仅是最佳描述特征而非最佳分类特征13。CCA方法的特点是,巧妙的将两组特征间的相关性特征作为分类依据,既达到了信息融合的目的,又消除了不同特征间的信息冗余。图4 不同特征运动识别率与投影维数关系Fig.4The relations betw een differentfeatures and the projection dimensions 为了考察不同特征的实时性问题,对特征提取时间、训练时间及分类识别时间进行了统计。其结果见表1。从表1可见,采用STFT+PCA进行特征提取的时间最短为4.6 ms;训练15个分类器时间最短的是FFT+PCA方法,时间最长的是CCA特征融合的方法;测试样本识别最快的是FFT+PCA仅为2.4 ms,采用CCA方法识别时间为4.6 ms。表1 不同特征提取时间、训练的时间及识别时间T ab.1Time for feature extracting,trainingand recognitionFeaturesFeatureextraction time/msTrainingtime/msRecognitiontime/msFFT+PCA9.43302.4STFT+PCA4.63755.2FFT+STFT+PCA29.23905.4CCA5.23954.6 结合图4各种特征的识别效果及表1的时间统计结果可见,采用CCA特征融合方法是最有效的运动特征识别方法,并且运算时间也能够达到实时识别的要求。因此探测器可以根据运动特征识别的结果预测入侵者对保护对象的威胁程度并尽早发出准确的报警信号。4 结 论 通过PIR测器对人体的运动特征进行识别,并评估入侵人体对保护对象的威胁程度,是安防系统新的研究方向。首先对单个PIR探测器输出的人体运动信号进行有效地去噪处理;然后分别提取信号的频谱特征及STFT能量特征,分别对单个特征及级联特征采用PCA方法降维,并利用CCA方法对两种特征进行融合。实验结果表明:由于CCA方法去除了两种特征的冗余信息对分类的干扰,使得融合特征的识别效果明显优于其它3种特征,不同运动特征的识别率均可达100%。由此可见,所提出的方法可以有效地识别人体不同的运动特征,同时由于探测器可以根据运动特征的识别结果及时发出准确的报警信息,研究结果对提升PIR探测器在安防系统及智能家居系统中的应用有一定得参考价值。参考文献:1HOU Ye,GUO Bao2long.Human motion detection by using gr2aph cutsJ.Journal of OptoelectronicsLaser(光电子 激光),2007,18(6):7252728.(in Chinese)2ZHANGQian2jin,QI Mei2bin,JIANGJian2guo,et al.Gait recog2nition based on static and dynamic features fusion of body bio2metricsJ.Journal of System Simulation(系统仿真学报),2009,21(5):132021323.(in Chinese)3XUE Zhao2jun,ZHAO Peng2fei,W AN Bai2kun,et al.Applicationof infrared thermal imaging in gait recognitionJ.Journal ofOptoelectronicsLaser(光电子 激光),2009,20(3):4022405.(in Chinese)4LIU Dian2ting,ZHOU Xiao2dan,W ANG Cheng2wen.Wavelet2based multispectral face recognitionJ.Optoelectronics Let2ters,2008,4(5):3842386.5Qi Hao,Davide J.Brady,Bob.D.Guenther,et al.Human track2ing with wireless distributed pyroelectric sensors J.IEEE.Sensors Journal,2006,(6):168321696.6Mohan Shankar,John B Burchett,Qi Hao,et al.Human2trackingsystems using pyroelectric infrared detectorsJ.Optical Engi2neering,2006,(45):10640121210.7CHENG Wei2dong,DONG Y ong2gui.Detection of human bodymotion features using pyroelectric infrared sensorJ.ChineseJournal of Scientific Instrument(仪器仪表学报),2008,29(5):102021023.(in Chinese)8SUN Quan2sen,ZENG Sheng2gen,YANG Mao2long,el al.Com2bined feature extraction based on canonical correlation analysisand face recognitionJ.Journal of Computer Research andDevelopment(计算机研究与发展),2005,42(4):6142621.(inChinese)9ZHAO Song,ZHANG Zhi2jian,ZHANG Pei2ren.Enhanced CCAand its applications in feature fusion of face recognitionJ.Journal of Computer Aided Design&Computer Graphics(计算机辅助设计与图形学学报),2009,21(3):3942399.(in Chi2nese)10ZHANG Jian2ming,YANG Li2rui,W ANG Liang2min.Facial ex2pression recognition based on hybrid features fused by CCAJ.Computer Applications(计算机应用),2008,28(3):6432646.(in Chinese)11SHU Ke,WU Wei,LUO Dai2sheng,et al.Numeral recognitionbased on KCCAJ.Journal of OptoelectronicsLaser(光电子 激光),2008,19(4):5582561.(in Chinese)12 SUN Quan2Sen,ZENG Sheng2Gen,HENG Pheng2Ann,et al.Thetheory of canonical correlation analysis and its application tofeature fusionJ.Chinese Journal of Computers(计算机学报),2005,28(9):152421533.(in Chinese)13GUO Jin2yu,Y UAN Wei2qi.Palmprint recognition based on ker2nel principal component analysis and fisher linear discriminantJ.Journal of OptoelectronicsLaser(光电子.激光),2008,19(12):169821701.(in Chinese)作者简介:王林泓(1974-),女,辽宁抚顺人,博士研究生,研究方向是红外传感器、模式识别、信息获取和处理1344第3期 王林泓等:热释电红外信号人体运动特征识别 3