支持向量机SVM-简介.ppt

Support Vector Machines f xy+1-1f(x,w,b)=sign(w.x-b)How would you classify this data?线性分性分类器器f xy+1-1f(x,w,b)=sign(w.x-b)How would you classify this data?线性分性分类器器线性分性分类器器f xy+1-1f(x,w,b)=sign(w.x-b)How would you classify this data?线性分性分类器器f xy+1-1f(x,w,b)=sign(w.x-b)How would you classify this data?线性分性分类器器f xy+1-1f(x,w,b)=sign(w.x-b)Any of these would be fine.but which is best?线性分性分类器器f xy+1-1f(x,w,b)=sign(w.x-b)线性分类器的间隔（margin）：到超平面最近的样本与此超平面之间的距离。最大最大间隔隔f xy+1-1f(x,w,b)=sign(w.x-b)具有最大间隔的线性分类器叫做最大间隔线性分类器。其就是一种最简单的支持向量机(SVM)(称为线性支持向量机，即LSVM)线性支持向量机f xy+1-1f(x,w,b)=sign(w.x-b)支持向量(Support Vectors):是那些距离超平面最近的点。具有最大间隔的线性分类器叫做最大间隔线性分类器。其就是一种最简单的支持向量机(SVM)(称为线性支持向量机，即LSVM)线性支持向量机最大最大间隔隔Why 最大间隔?+1-1f(x,w,b)=sign(w.x-b)支持向量(Support Vectors):是那些距离超平面最近的点。具有最大间隔的线性分类器叫做最大间隔线性分类器。其就是一种最简单的支持向量机(SVM)(称为线性支持向量机，即LSVM)线性支持向量机1.直观上感觉很好.2.学习得到的线性分类器.其对未知样本的预测能力与分类器间隔有如下关系：具体化分具体化分类超平面及其超平面及其间隔隔如何在数学上表示?在m位空间中?Plus-PlaneMinus-PlaneClassifier Boundaryzone“Predict Class=+1”“Predict Class=-1”zonePlus-plane =x:w.x+b=+1 Minus-plane=x:w.x+b=-1 Classify as.+1ifw.x+b=1-1ifw.x+b=-1不可分情况if-1 w.x+b w.x-+b+l w.w=1=-1+l w.w=1=x-x+计算算间隔隔现在我们知道:w.x+b=+1 w.x-+b=-1 x+=x-+l w|x+-x-|=M Zone“Predict Class=+1”“Predict Class=-1”zonewx+b=1wx+b=0wx+b=-1M=Margin Width=M=|x+-x-|=|l w|=x-x+计算算间隔隔学习最大间隔分类器我们现在需要找到一种算法，来求出w 与 b，并且 能匹配上所有的样本点.怎么做?梯度下降?退火算法?矩阵求逆?牛顿法?Zone“Predict Class=+1”“Predict Class=-1”zonewx+b=1wx+b=0wx+b=-1M=Margin Width=x-x+利用二次优化求解Minimizesubject toyk(w.xk+b)=1 k=1,2,n What You Should Know线性 SVMs最大间隔分类器QP 的作用(但是,这里,你不必知道如何求解它)最大间隔问题可以转化为一个二次优化(QP)问题