支持向量机在模式识别中的应用及进展.doc

支持向量机在模式识别中的应用及最新进展
（北京理工大学自动化学院，北京 100081）

摘 要：在VladimirN.VaPnik的统计学习理论基础上发展起来的支持向量机(Suppor Vector Machine，SVM)是目前模式识别领域中最先进的机器学习算法。本文对支持向量机及其在模式识别中应用的若干问题作了研究，

关键词：支持向量机；模式识别；最新进展

Abstract:
Key word:support vector machines; pattern recognition;
1 引言
机器学习是现代智能技术中的重要方面，对样本进行训练并寻找规律，利用这些规律对未来数据或无法观测的数据进行预测是基于数据的机器学习的基本思想。统计学理论是我们面对数据而又缺乏理论模型时最基本的也是唯一的分析手段[l，2].传统统计学研究的是渐进理论，即假设样本数目无穷大，但在实际应用中样本数目总是有限的，一些好的基于渐
进理论的学习算法在实际应用当中往往表现得并不理想，因此研究小样本的机器学习问题就具有非常重要的实际意义。
VladimirN·Vapnik等人从20世纪60年代开始就致力于研究有限样本的机器学习问题，经过几十年的研究，终于到90年代中期形成了一个较完整的理论体系，即统计学习理论(StatistiealL’earningTheory)[3].由于神经网络等学习方法在理论上难以有实质性的进展，因此统计学习理论受到人们广泛的重视.近几年来，在统计学习理论的基础上又发展出一种新的学习机器—支持向量机(SupportveetorMaehine)，它在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势.支持向量机是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷，以获得最好的推广能力[3，4]。
目前，统计学习理论和支持向量机己被越来越多地应用到模式识别领域，如手写体文字识别、人脸识别、生物识别、三维对象识别等，并取得了良好的识别效果。本文着重介绍支持向量机的基本原理、关键问题、研究状况及其在模式识别领域中的应用，希望今后能有更多的人研究和应用这一优秀的学习机器。
2 支持向量机基本方法
假定大小为的训练样本集 ,由二类别组成,如果属于第1类,则标记为正(yi=1),如果属于第2类,则标记为负(yi=-1).学习的目标是构造一判别函数,将测试数据尽可能正确地分类.针对训练样本集为线性、非线性两种情况分别讨论.
2.1线性情况
如果存在分类超平面
(1)
使得
(2)
则称训练集是线性可分的,其中表示向量与的内积。式(1)和式(2)中的，都进行了规范化,使每类样本集中与分类超平面距离最近的数据点满足式(2)的等式要求.对于式(2),可写成如下形式:
（3）
由统计学习理论知,如果训练样本集没有被超平面错误分开,并且距超平面最近的样本数据与超平面之间的距离最大,则该超平面为最优超平面(如图1所示),由此得到的判别函数
（4）
其泛化能力最优,其中为符号函数.最优超平面的求解需要最大化2/‖w‖,即最小化,这样可转换成如下的二次规划问题:
（5）
训练样本集为线性不可分时,需引入非负松驰变量，分类超平面的最优化问题为
（6）
其中C为惩罚参数，C越大表示对错误分类的惩罚越大。采用拉格朗日乘子法求解这个具有线性约束的二次规划问题，即
(7)
其中,为拉格朗日乘子,由此得到:
(8)
(9)
(10)
将式(8)～(10)代入式(7),得到对偶最优化问题:
(11)
最优化求解得到的可能是:=0;;。 后两者所对应的xi为支持向量(support vector, SV)。由式(8)知只有支持向量对w有贡献,也就对最优超平面、判别函数有贡献,所对应的学习方法称之为支持向量机。在支持向量中, 所对应的xi称为边界支持向量(boundary support vector, BSV),实际上是错分的训练样本点;②所对应的xi称为标准支持向量(normal support vector,NSV).根据Karush-Kuhn-Tucher条件[1](简称KKT条件)知,在最优点,拉格朗日乘子与约束的积为0,即
（12）
对于标准支持向量（），由式(10)得到，则由式(12)得到,因此,对于任一标准支持向量xi,满足
，（13）
从而计算参数b为

图1最优分类超平面
Fig.1 Optimal separating hyperplanes

3 支持向量机在模式识别中的应用
3.1模型的建立

4 最新进展
2.1模型的建立

5 结论

参考文献：