疲劳驾驶面部表情识别算法.doc

疲劳驾驶面部表情识别算法

　　收稿日期：2007-11-10；修回日期：2008-03-06

　　基金项目：国家自然科学基金资助项目（50374079）; 国家“973”计划资助项目（2002cb12203）

　　作者简介：杨秋芬（1973-），女，湖南永州人，副教授，博士研究生，主要研究方向为计算机视觉、人脸识别(yqf5569@)；桂卫华（1951-），教授，博导，主要研究方向为智能控制、自动化；周书仁（1975-），男，讲师，博士研究生，主要研究方向为人工智能、模式识别、图像处理?豹?*

　　（中南大学 信息科学与工程学院，长沙 410083
　　摘 要：针对疲劳驾驶的六种表情，提出几何规范化结合Gabor滤波提取表情特征，使用支持向量机对疲劳驾驶的面部表情分类识别的系统。首先对视频图像预处理进行几何规范化，利用二维Gabor核函数构造最优滤波器48个，获取48个面部表情特征点，最后利用支持向量机进行面部表情分类识别。实验结果表明径向基函数的SVM性能最好。
　　关键词：表情识别；加博滤波； 核函数； 支持向量机
　　中图分类号：TP391.41
　　文献标志码：A
　　文章编号：1001-3695(2008)10-3039-03
　　Facial expression recognition algorithm for fatigue driving
　　YANG Qiu-fen, GUI Wei-hua，ZHOU Shu-ren
　　(College of Information Science & Engineering, Central South University, Changsha 410083, China)
　　Abstract:This paper proposed an expression recognition system based on geometry standardization, Gabor wavelet filter and support vector machine (SVM) according to six face expression of fatigue driving. The system ensured the geometry standardization of video.Then it constituted forty-eight optimization filters according to 2D-Gabor kernel functions to acquire forty-eight expressional feature point inside the latency rectangle region. It was applied to recognizing facial expression using SVM. Experimental results demonstrate that RBF the radial basis function(RBF) SVM has better performance than other SVMs on human facial expression recognition, and prove that the algorithm is efficient and feasible.
　　Key words：facial recognition; Gabor filter；kernel functions; support vector machine

　　根据英国汽车协会统计,英国车祸的死亡事故中，有10%是因司机疲劳驾驶引起的。同时有资料表明，高速公路发生的交通事故中，有50%以上是由于长时间疲劳驾驶或所见目标单调使司机注意力不集中，甚至打瞌睡等造成的。统计表明，在出现这些现象的同时，司机的面部表情也将发生明显变化[1,2]。
　　目前面部表情的分类方法很多。Lyons等人[3]利用主分量分析和线性判别分析在JAFFE(Japanese female facial expression)表情库上得到了很好的结果(正确率达到92%); Padgett等人[4]使用反向传播算法训练人工神经网络在Ekman人脸表情库[5]上能够达到86%的正确率;Pantic等人[6]使用专家系统方法在265张双视角的人脸表情图片上的正确率达到了91%;Otsuka等人[7]采用隐马尔可夫模型的方法也达到了比较好的结果(本文中并没有提到此方法的正确率)。
　　最近,支持向量机被成功地用于人脸图像处理的各个方面，如人脸检测[8]、人脸的姿态估计[9]和人脸识别[10]等，取得了优于传统模式识别方法的性能。本文受其启发，先对摄像机拍摄到的疲劳驾驶视频图像进行几何规范化，使用48个Gabor滤波抽取48个最优特征点来构造表情特征向量，最后用支持向量机分类器对驾驶员面部表情进行训练、识别。
　　1 视频图像的预处理
　　视频图像的预处理包括视频图像子区域的分割以及视频图像的归一化处理。前者指从视频图像中分割出与人脸最相关的子区域；后者包括图像的灰度均衡和尺度归一。图像预处理的好坏直接影响视频图像特征提取的效果和计算量。
　　疲劳驾驶视频图像的几何规范化处理首先对人脸作水平积分投影，利用投影曲线各极小值之间存在的位置关系，建立判断规则，确定人脸的眼睛、嘴、鼻孔和眉毛的水平位置以及各器官之间的垂直距离；再根据人脸的眼睛、嘴的水平位置和垂直距离确定出眼区、嘴区，将这些区域分割出来组成特征三角形生成面部处理区域；最后进行特征提取。
　　几何规范化处理方法在文献[11]中进行了详细的论述。区域的水平积分投影曲线函数PH(y)表示为?И?PH(y)=1/（x??2-x??1）∑x??2x??1I(x,y),y∈(y??1,y??2)（1）?И?
　　图1为水平投影曲线函数得到的人脸灰度水平积分投影。对于正面人脸图像，以两眼的中央和嘴部中央构成如图2（a）所示的等腰三角形及矩形区域；对于侧面分左侧和右侧，分别以左、右眼的中央和嘴及左、右耳部中央构成如图2（b）所示的右侧直角三角形及矩形区域。
　　2 Gabor滤波的特征抽取
　　二维Gabor小波变换是在时频域进行信号分析处理的重要工具，其变换系数有着良好的视觉特性和生物学背景，因此被广泛应用于图像处理、模式识别等领域。
　　接下来对图2的几何规范化图进行二维Gabor小波变换，以获取驾驶员面部区域的表情特征。二维Gabor小波核函数为?ИЕ转?j(k,x)=k2??j/σ2 exp(-k2??j×x2/（2σ2）)×
　　[exp(k2??j×x)-exp(-σ2/2)](2)?И?其中：k2??j确保不同频率带宽的滤波器有着大致相同的能量；exp(-σ2/2)是为了抵消图像的直流分，使滤波器对全局照明不敏感，其优点是允许描述空间频率结构的同时，保持空间关系的信息。?И?kj=k??v cos ?吉?u
　　k??v sin ?吉?u, k??v=2??-（v+2）/2π,?吉?u=μ π/8（3）?И?其中：k??j对不同的取值边构成了不同的小波。本文中取四个大小方向的变化：
　　?И?k??j=2??-（v+2）/2π(v=1,2,3,4)?ИЯ?个方向??:0-6/8π(μ=1,2,…,6)，间隔π/8;σ为滤波器的长度，取σ=π，设为1倍频率。输入图像I(x,y)和小波作卷积，得?И?g(k??j,x)=∫∫I(x,y)?吉?j(k,x)dxdy(4)?И?其中:g(k??j,x)为幅度。这样Gabor滤波器的个数为48，组成一组代表目标特征的最优滤波器。这些滤波器构成小波子空间，将图像向这个小波子空间投影求出小波的系数，提取均值和方差以此来代表驾驶员面部表情图像的统计特征。图3为48个特征点分布。
　　3 支持向量机分类器的构造
　　SVM是在统计学习理论的基础上发展出的一种新的模式识别方法，在解决小样本、非线性机高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中[3]。
　　设有线性可分样本集(ｘ??i,ｙ??i)（ｉ=1,…,ｎ）,ｘ∈Ｒ??n,ｙ∈{+1,-1}是类别标号。N维空间的线性判别函数一般形式为ｇ(ｘ)=ω×x+ｂ,分类面方程为 ω×x+ｂ=0的划分。该分类面就是最优超平面，而距离该最优超平面最近的异类向量就是所谓的支持向量(support vector)。支持向量与超平面之间的距离最大(即边缘最大化)；一组支持向量可以惟一地确定一个超平面。寻找超平面的问题就转换为求解以下二次规划问题：?ИЕ?(w)=1/2(ω×ω)(5)?Иг际?条件为不等式：
　　?И?y??i[(ω×x)+b]≥1；i=1,2,…,n(6)?И?
　　线性条件下式(9)的最优解为下面Lagrange函数的鞍点：?И?L(ω,α,b)=1/2‖ω‖-∑li=1α??i{y??i(ω×x)+b-1}(7)?ИТ耸弊钣懦?平面是训练集合中向量的线性组合：?ИЕ?=∑li=1α??iy??ix??i(8)?И?
　　使式(10)成立的向量就是在ω的展开式中具有非零系数α??i的支持向量。该二次规划问题的分类平面为?И?f(x)=sgn(∑iα??iy??ix??i×x+b)(9)?И?
　　对线性不可分的情况，SVM引入松弛变量和惩罚因子，使目标函数变为?ИЕ?(ω,ξ)=1/2(ω×ω)+C(∑Niξ??i)(10)?И?
　　支持向量机实现的是如下思想：通过事先选择好的非线性映射将输入向量x映射到一个高维特征间Z,在这个空间构造最优分类超平面。ＳＶＭ的分类函数在形式上类似神经网络，输出是中间节点的线性组合，每个中间节点对应一个支持向量。向量之间只进行点积运算，采用核函数(kernal function)，就可以避免在高维特征空间进行复杂的运算，不同的核函数将形成不同的算法(即不同的支持向量机)。目前,主要的核函数有：a)多项式核函数k(x,x??j)=[(x×x??i)+1]??d，得到ｄ阶多项式分类器。b)径向基函数(RBF)k(x,y)=exp[-‖x-y‖2/σ2]，所得分类器与传统RBF的区别是这里每个基函数中心对应一个支持向量，它们及输出权值都是由算法自动确定的。c)Sigmoid核函数 k(x,x??i)=tan h(v(x×x??i)+c)。
　　人类对于面部表情的分析可以追溯到20世纪。Ekman等人[13]根据面部肌肉的分布和运动规律提出了六种基本的面部表情：高兴happy 、惊奇surprise 、悲哀sad、愤怒angry、恐惧fear、 厌恶disgust ，如图4所示。
　　在驾驶员驾驶的过程中，几种表情出现的概率并不是对等的，如悲哀sad、愤怒angry，在这种情绪下的驾驶员开车的情况并不多见，多数情况下，是前面所示的中性脸。因此疲劳驾驶的面部表情也包括高兴happy 、惊奇surprise 、中性、愤怒angry、恐惧fear、 厌恶disgust六种。
　　在研究过程中笔者利用支持向量机的Rowley[14]算法训练算法，对其三个核函数进行比较研究。
　　4 实验结果与分析

　　实验中考虑六种表情（包含中性脸），即中性、高兴、愤怒、害怕、惊吓和厌恶。人脸表情数据来源为日本Kyushu大学的JAFFE（Japanese female facial expression）数据库[14]（中性代替悲哀）、Yale数据库[15]（中性代替悲哀）和自建表情数据库（仅用来测试）。JAFFE数据库包含213张图像，六种表情；Yale数据库包含165张图像，15个人的表情，每人11张；自建表情数据库包含200张图像。因此一共有表情图像578张。
　　实验分两组进行，一组（278张）作为网络训练用，另一组（300张）作为测试用。表情图像在训练和测试之前均先进行Gabor小波特征提取，表情分类测试结果如表1所示。在测试集中，每种表情图像均为50张。表1中多项式阶数q取3，径向基的σ2参数取0.5。实验结果表明，采用径向基函数的SVM性能最好。
　　表1 不同核函数的SVM比较结果%函数高兴惊奇中性愤怒害怕厌恶多项式
　　径向基
　　S形92.5
　　95.5
　　94.593.5
　　95.5
　　94.590
　　92
　　90.592.5
　　93.5
　　9388
　　89.5
　　88.590.5
　　91.5
　　91.55 结束语
　　本文从疲劳驾驶的实际出发，将面部表情分为中性、高兴、愤怒害怕、惊吓和厌恶六类表情，对视频图像进行几何规范化处理，利用二维Gabor核函数构造最优滤波器48个特征向量，利用SVM较强的泛化性能，使用支持向量机的Rowley算法训练算法进行实验。实验表明采用径向基函数的SVM性能最好。

　　参考文献：
　　[1]TIAN Ying-li, TAKEO K, COHN J F. Eye-state action unit detection by Gabor wavelet[C]//Proc of ICMI. 2000: 143-150.
　　[2]GUO Ke-you,CHU Jiang-wei,WANG Rong-ben.Study on the recog-nition of the driver’s eye states[J]. Systems Engineering and Electronics,2003,25(10):1186-1188，1228.
　　[3]LYONS M J, BUDYNEK J, AKAMATSU S. Automatic classification of single facial images[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 1999, 21(12): 1357-1362.
　　[4]PADGETT C, COTTRELL G W.Representing face images for emotion classification[C]//Proc of Conference Advances in Neural Information Processing Systems. Denver:[s.n.], 1996:894-900.
　　[5]EKMAN P, FRIESEN W V. Unmasking the face [M]. New Jersey: Prentice Hall,1975.
　　[6]PANTIC M, ROTHKRANTZ L J M. Expert system for automatic analysis of facial expression[J]. Image andVisionComputing, 2000,
　　18(11):881-905.
　　[7]OTSUKA T, OHYA J. Spotting segments displaying facial expressions from image sequences using HMM[C]//Proc of IEEE International Conference on Automatic Face and Gesture Recognition. Nara: [s.n.], 1998:442-447.
　　[8]LIANG Lu-hong, AI Hai-zhou, XIAO Xi-pan,et al. Face detection based on template matching and support vector machines[J]. Chinese Journal of Computers,2002,25(1):22-29.
　　[9]HUANG J, SHAO X, WECHSLER H. Face pose discrimination using support vector machines[C]//Proc of IEEE International Conference on Pattern Recognition. Brisbane:[s.n.], 1998:154-156.
　　[10]GUO Guo-dong, LI S Z, CHAN K. Face recognition by support vector machines[C]//Proc of IEEE International Conference on Automatic Face and Gesture Recognition. Grenoble:[s.n.], 2000:196-201.
　　[11]杨秋芬，桂卫华，周书仁.基于特征三角形的多姿态视频图像人脸跟踪[J].计算机工程,2006,32(15):39-41.
　　[12]杨秋芬，胡豁生，桂卫华.基于滤波和特征三角形的驾驶员面部跟踪[J].计算机工程与应用, 2006，42(23):16-19.
　　[13]EKMAN P, FRIESEN WU\V. Universal sand cultural difference in facial expressions of emotion[C]//Proc of Nebraska Symposium on Motivation. Lincoln:[s.n.],1971.
　　[14]LEE J H,LEE T W, JUNG H Y, et al. On the efficient speech feature extraction based on independent component analysis[J]. Neural Process Lett, 2002,15(3):235-245.
　　[15]BECKMANN C F, SMITH S M. Probabilistic independent component analysis for functional magnetic resonance imaging[J]. IEEE Trans on Med Imaging, 2004,23(2): 137-152.
　　[16]CHUANG Chao-fa, SHIH F Y. Recognizing facial action units independent component analysis and support vector machine[J]. Pattern Recognition, 2006,39(9): 1795-1798.
　　[17]PL?ZTZ T, FINK G A. Pattern recognition, methods for advanced stochastic protein sequence analysis using HMMs[J]. Pattern Recog-nition, 2006,39(12): 2267-2280.
　　[18]GAO Wen, JIN Hui. Analysis and recognition of facial expression image[J]. Chinese Journal of Computers, 1997,20(9):782-789.