基于支持向量机的预测方法模型文献综述.ppt

,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,L/O/G/O,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,*,基于,支持向量机,的预测方法模型文献综述,支持向量机的提出,支持向量机,(support vector machine,svm),是,Vapnik,等人于,1995,年,在完整的统计学习理论的基础上提出的一种新的机器学习方法。,思想,新,SVM,是一种新兴的机器学习方法，在许多领域具有广阔的应用潜力，目前仍处于发展阶段。,方法,优,SVM,采用结构风险最小化准则，具有很好的学习能力，尤其是泛化能力，克服了“维数灾难”和“过学习”，而且效率高，结构简单。,应用,广,SVM,已广泛应用于时间序列分析、回归分析、聚类分析、动态图像的人脸跟踪、信号处理、语音识别、图像分析和控制系统等诸多领域。,支持向量机的原理,假设样本集为,(x,1,，,y,1,),，,(x,2,，,y,2,),，,，,(x,n,，,y,n,)x,i,R,n,y,i,-1,1,，,x,i,表示输入向量，,y,i,表示输出向量,最优超平面,假设该样本集可被一个超平面线性划分，定义该超平面为,x+b=0,SVM,就是要寻找一个满足分类要求的分割超平面，使样本集中距超平面最近的两类样本之间的距离最大，则该平面就是最优超平面。,Your Text Here,Your Text Here,Your Text Here,SVM,的主要思想是通过某种事先选择的非线性映射将输入向量,x,映射到一个,高维特征空间,Z,，并在这个空间中构造最优超平面。,如何求解得到这个最优超平面？,由于支持向量之间的距离为 ，,构造最优超平面的问题就转化为求 的最小值,引入拉格朗日函数：,对偶形式,符号函数,核函数,应用最多的核函数主要有三种：,1),多项式核函数：,2),高斯径向基核函数,(RBF),：,3),Sigmoid,核函数,：,支持向量机的研究现状,一、支持向量机训练算法的研究,块算法,:,由,Cortes,和,Vapnik,提出，“块算法”的目标就是通过某种迭代方式逐步排除非支持向量。,增量减量式学习方法：,由,Cauwenbergh,提出，考虑了增加或减少一个训练样本对拉格朗日系数和,SVM,的影响。,二、,支持向量机模型选择的研究,Steinwart,对不同类型的,SVM,的泛化能力进行了研究。,Vapnik,等对多项式机器、径向基函数机器和两层神经网络机器三种类型的,SVM,在解决数字识别时的表现进行了比较。,支持向量机的扩展和展望,支持向量机的变形算法：,vSVM,系列、单类别,SVM,、简化,SVM(reduced SVM),、加权,SVM,(weighted SVM),和最小二乘,SVM(1eastsquare SVM,，,LSSVM),等算法。,支持向量机的改进：,(1),支持向量机中自选参数的选取目前尚缺乏结构化的方法来实现参数的最优选择：,(2),对于给定的数据如何选择最为合适的核函数。,结论,三种方法中，,SVM,模型的预测结果误差远小于另两种模型相应的误差，说明,SVM,模型泛化,(,预测,),能力要优于后二者；预测的变形值与实际值基本接近，数据范围是合理的。,通过算例研究可以得出：,1),各影响因素之间是高度非线性的复杂关系，用传统的建模方法很难处理，,SVM,方法很好地处理了这种关系；,2)SVM,方法是专门针对有限样本的，其目标是得到现有信息下的最优解，避免了神经网络等方法的网络结构选择、过学习和欠学习等问题。,Thank You!,