人工智能之支持向量机教育课件.ppt

人工智能之人工智能之支持向量机支持向量机PPT讲座讲座内容提要内容提要n统计学习方法概述统计学习方法概述n统计学习问题统计学习问题n学习过程的泛化能力学习过程的泛化能力n支持向量机支持向量机nSVMSVM寻优算法算法n应用应用支持向量机支持向量机nSVM是一种基于统计学习理论的机器学习方法，它是由Boser,Guyon,Vapnik在COLT-92上首次提出，从此迅速发展起来nVapnik V N.1995.The Nature of Statistical Learning Theory.Springer-Verlag,New York nVapnik V N.1998.Statistical Learning Theory.Wiley-Interscience Publication,John Wiley&Sons,Incn目前已经在许多智能信息获取与处理领域都取得了成功的应用。支持向量机支持向量机 SVMnSVMs are learning systems that nuseahyperplaneoflinear functionsninahighdimensionalfeaturespaceKernel functionntrainedwithalearningalgorithmfromoptimizationtheoryLagrangenImplementsalearningbiasderivedfromstatisticallearningtheoryGeneralisation SVMisaclassifierderivedfromstatisticallearningtheorybyVapnikandChervonenkis2024/6/4周二5 线性分类器线性分类器ayestf xf(x,w,b)=sign(w.x-b)denotes+1denotes-1Howwouldyouclassifythisdata?2024/6/4周二6线性分类器线性分类器f xayestdenotes+1denotes-1f(x,w,b)=sign(w.x-b)Howwouldyouclassifythisdata?2024/6/4周二7线性分类器线性分类器f xayestdenotes+1denotes-1f(x,w,b)=sign(w.x-b)Howwouldyouclassifythisdata?2024/6/4周二8线性分类器线性分类器f xayestdenotes+1denotes-1f(x,w,b)=sign(w.x-b)Howwouldyouclassifythisdata?2024/6/4周二9线性分类器线性分类器f xayestdenotes+1denotes-1f(x,w,b)=sign(w.x-b)Howwouldyouclassifythisdata?哪一个分界面是最优的？2024/6/4周二10分类超平面分类超平面nTraining set:(xi,yi),i=1,2,N;yi+1,-1nHyperplane:wx+b=0nThisisfullydeterminedby(w,b)w1x+b1=0w2x+b2=0w3x+b3=02024/6/4周二11最大间隔最大间隔一个超平面，如果它能将训练样本没有错误地分开，并且两类训练样本中离超平面最近的样本与超平面之间的距离是最大的，则把这个超平面称作最优分类 超 平 面（optimal separating hyperplane），两类样本中离分类面最近的样本到分类面的距离称为分类间隔，最优超平面也可以称作最大间隔超平面。2024/6/4周二12最大间隔原则最大间隔原则Note1:decision functions(w,b)and(cw,cb)are the sameNote2:but margins as measured by the outputs of the function xwx+b are not the same if we take(cw,cb).Definition:geometric margingeometric margin:the margin given by the canonical decision canonical decision functionfunction,which is when c=1/|w|Strategy:1)we need to maximise the geometric margin!(cf result from learning theory)2)subject to the constraint that training examples are classified correctly wwx+b=0wx+b0wx+b非线性分划代价：2维空间内积6维空间内积非非线性分性分类2024/6/4周二35为此，引进函数有比较(2)和(3)，可以发现这是一个重要的等式，提示6维空间中的内积可以通过计算 中2维空间中的内积 得到。非非线性分性分类2024/6/4周二36实现非线性分类的思想实现非线性分类的思想给定训练集后，决策函数仅依赖于而不需要再考虑非线性变换如果想用其它的非线性分划办法，则可以考虑选择其它形式的函数 ，一旦选定了函数，就可以求解最优化问题得 ，而决策函数2024/6/4周二37决策函数其中实现非非线性分性分类的思想的思想2024/6/4周二38n多项式内核n径向基函数内核RBFnSigmoind内核目前研究最多的核函数主要有三类：得到q 阶多项式分类器每个基函数中心对应一个支持向量，它们及输出权值由算法自动确定包含一个隐层的多层感知器，隐层节点数是由算法自动确定核函数的核函数的选择SVM算法实现软件nLIBSVM：台湾大学林智仁教授等开发，有各种版本，应用很广泛nLS-SVMLAB：Matlab界面，分类、回归都可nOSU_SVM：用于分类，可以实现多分类nSVM toolbox:Matlab界面，代码简单，适合初学者了解原理，但算法效率较低39有关SVM的网站nwww.kernel-machines.org nwww.support- nwww.csie.ntu.edu.tw/cjlin/libsvm nwww.esat.kuleuven.ac.be/sista/ 在实验中选取RBF函数作为核函数的首选，原因：n1.RBF函数可以将样本非线性地规划到更高维的空间中，从而实现非线形影射。Sigmoid核函数取某些特定参数时性能和RBF相同。n2.RBF函数的参数只有一个。相比之下多项式核函数参数比RBF核函数多，因此其模型选择更为复杂。n3.RBF函数的数值限制条件少。RBF函数使数值被限制在0和1之间，而多项式核函数的值可能会趋于不定值 或零值 且幂值更高；Sigmoid核函数在取某些参数值时则可能无效。41SVM预测模型的建立（续）nC和r和选取（以分类为例）选定一组C,r的范围 和 ,然后将它们的准确率用等高线连接起来绘出类似下图。42用SVM实现煤炭需求量的预测n任任务：用：用1980-2002年的我国煤炭需求量来年的我国煤炭需求量来预测2003-2006年的煤炭需求量年的煤炭需求量n将将历年的煤炭消年的煤炭消费量量X(t)看作看作时间序列，序列，则其其预测模型可模型可以描述以描述为其中其中为非非线形函数，形函数，p为嵌入嵌入维数，数，根据上式根据上式,可以得到可以得到输入入样本和本和输出出样本本,这里用里用1999-2002年的数据作年的数据作为检验样本本,分分别用用SVM和神和神经网网络预测，结果果为:性能比较SVMRBF神经网络预测最大误差2.992%3.259%平均相对误差1.872%1.976%43用SVM实现煤炭需求量的预测用训练好的用训练好的SVM模型来预测将来模型来预测将来2003-2006年的煤炭需年的煤炭需求量，其需求趋势如下图求量，其需求趋势如下图：2003-2006年的预测值44有待解决的问题n1.如何合选择SVM的参数：怎样合理选择支持向量的核参数，目前尚无定论。格子搜索法比较常见，有的 学者已提出用遗传算法、粒子群算法等优化参数n2.如何实现时间序列的动态预测：动态预测要求SVM的参数能适应序列的动态变化，即建立基于SVM自适应预测控制系统452024/6/4周二46SVM applicationsnPattern recognitionoFeatures:wordscountsnDNA array expression data analysisoFeatures:expr.levelsindiff.conditionsnProtein classificationoFeatures:AAcomposition2024/6/4周二47Handwritten Digits Recognition2024/6/4周二48Applying SVMs to Face DetectionnThe SVM face-detection system1.Rescale the 1.Rescale the input image input image several timesseveral times2.Cut 19x19 2.Cut 19x19 window patterns window patterns out of the out of the scaled imagescaled image3.Preprocess the 3.Preprocess the window using masking,window using masking,light correction and light correction and histogram equalizationhistogram equalization4.Classify the 4.Classify the pattern using pattern using the SVMthe SVM5.If the class corresponds 5.If the class corresponds to a face,draw a rectangle to a face,draw a rectangle around the face in the around the face in the output image.output image.2024/6/4周二49Applying SVMs to Face DetectionnExperimental results on static imagesnSetA:313high-quality,samenumberoffacesnSetB:23mixedquality,totalof155faces2024/6/4周二50Applying SVMs to Face DetectionnExtension to a real-time systemAn example An example of the skin of the skin detection detection module module implementeimplemented using d using SVMsSVMsFace Face Detection Detection on the PC-on the PC-based based Color Real Color Real Time Time SystemSystem2024/6/4周二51ReferencesnVladimir Vapnik.The Nature of Statistical Learning Theory,Springer,1995 nAndrew W.Moore.cmsc726:SVMs.http:/www.cs.cmu.edu/awm/tutorialsnC.Burges.A tutorial on support vector machines for pattern recognition.Data Mining and Knowledge Discovery,2(2):955-974,1998.http:/ nVladimir Vapnik.Statistical Learning Theory.Wiley-Interscience;1998nThorsten Joachims (joachims_01a):A Statistical Learning Model of Text Classification for Support Vector MachinesnBen Rubinstein.Statistical Learning Theory.Dept.Computer Science&Software Engineering,University of Melbourne;and Division of Genetics&Bioinformatics,Walter&Eliza Hall Institute