ImageVerifierCode 换一换
格式:PPT , 页数:54 ,大小:1.96MB ,
资源ID:10249874      下载积分:4 金币
验证码下载
登录下载
邮箱/手机:
验证码: 获取验证码
温馨提示:
支付成功后,系统会自动生成账号(用户名为邮箱或者手机号,密码是验证码),方便下次登录下载和查询订单;
特别说明:
请自助下载,系统不会自动发送文件的哦; 如果您已付费,想二次下载,请登录后访问:我的下载记录
支付方式: 支付宝    微信支付   
验证码:   换一换

开通VIP
 

温馨提示:由于个人手机设置不同,如果发现不能下载,请复制以下地址【https://www.zixin.com.cn/docdown/10249874.html】到电脑端继续下载(重复下载【60天内】不扣币)。

已注册用户请登录:
账号:
密码:
验证码:   换一换
  忘记密码?
三方登录: 微信登录   QQ登录  

开通VIP折扣优惠下载文档

            查看会员权益                  [ 下载后找不到文档?]

填表反馈(24小时):  下载求助     关注领币    退款申请

开具发票请登录PC端进行申请。


权利声明

1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前可先查看【教您几个在下载文档中可以更好的避免被坑】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时联系平台进行协调解决,联系【微信客服】、【QQ客服】,若有其他问题请点击或扫码反馈【服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【版权申诉】”,意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4009-655-100;投诉/维权电话:18658249818。

注意事项

本文(哈工大模式识别——核方法概要.ppt)为本站上传会员【快乐****生活】主动上传,咨信网仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知咨信网(发送邮件至1219186828@qq.com、拔打电话4009-655-100或【 微信客服】、【 QQ客服】),核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载【60天内】不扣币。 服务填表

哈工大模式识别——核方法概要.ppt

1、单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第,9,章 模式识别中的核方法,1,9,模式识别中的核方法,9.1,核方法概述,9.2,核方法基础,9.3,凸优化与,SVM,2,9.1,核方法概述,模式识别的核方法:,首先把数据嵌入到合适的特征空间,然后采用基于线性代数、几何、统计学算法,发现嵌入数据的模式,3,9.1,核方法概述,核方法的,4,个关键:,数据嵌入特征空间,在特征空间中寻找线性模式,在嵌入空间中,不需要计算点的坐标,只用两两内积,利用核函数,可以直接从初始数据高效地计算内积。,从基于线性函数类的模式中抽取出来的模式函数,数据 核函数 核矩

2、阵,PA,算法 模式函数,4,9.1,核方法概述,线性回归,给定,n,维空间中训练集合 ,寻找齐次线性函数 使其为,S,的最优插值,通过给定的,n,维点,拟合一个超平面,如果 可逆,令,5,9.1,核方法概述,线性回归,给定,n,维空间中训练集合 ,寻找齐次线性函数 使其为,S,的最优插值,如果 可逆,训练点的线性组合,如果 不可逆:伪逆,岭回归,6,9.1,核方法概述,岭回归,如果 不可逆:数据不够,或存在噪声,没有足够信息,精确指明解法(不适定,ill-posed,),添加某种条件(或偏置),限制函数的选择(正则化),选择范数较小的,w,范数与损失之间的相对权衡,I,n,是一个,n,阶单位

3、阵,时总可逆,7,9.1,核方法概述,对偶岭回归,训练点的线性组合,称,为,Gram,矩阵,:对偶变量,G:,训练点对间的内积,k,:训练点和测试点之间的内积,8,直接法:,N,很大时,解,N,N,的方程组代价过大,9.1,核方法概述,核函数,考虑一个嵌入映射,将 上的非线性关系转化为 高维空间上的线性关系,对偶法:,需要的所有信息为特征空间,F,中的内积,跳过显式计算 直接计算,核函数:,核(,kernel,)是一个函数 ,对于所有 满足:,其中 是从,X,到(内积)特征空间,F,的一个映射:,指数维,甚至无限维特征空间。,9,那么,,F,中的线性函数为:,9.1,核方法概述,核函数举例,考

4、虑一个二维输入空间 同时考虑特征映射:,将特征空间中的线性关系与输入空间中的二次关系相对应:,直接计算特征空间中的内积,不用显式计算特征空间中的坐标,也可计算如下映射空间的内积,特征空间并不由核函数唯一确定,10,9.1,核方法概述,核函数举例,考虑一,个,n,维输入空间 ,那么函数,是一个核函数,对应的特征映射为:,因为:,11,9,模式识别中的核方法,9.1,核方法概述,9.2,核方法基础,9.3,凸优化与,SVM,12,核,矩阵,考虑,l,个训练样本在,N,维特征空间中映射,记为,l,N,矩阵,称与之相关的,L,L Gram,矩阵为核矩阵,其元素为,核矩阵可写作:,13,基本运算,如果

5、是,核,,B,是一个半正定矩阵,,p,(,x,),是一个正系数多项式,那么下面都是核,:,高斯核,14,均值和距离,特征向量的范数,:,特征向量的规范化,:,15,均值和距离,特征向量线性组合的范数,:,16,均值和距离,特征向量之间的距离,:,17,均值和距离,质心的范数,质心的范数的平方,=,核矩阵元素的平均值,18,均值和距离,点到质心的距离,19,均值和距离,方差,核矩阵对角线元素平均值,-,全体元素平均值,20,中心化数据,把原点移到质心,平均特征值最小化,移动后,新的核函数为,21,可以证明对于 有:,中心化的稳定性,从训练样本估计质心的可靠性:样本中心多大程度上接近真实期望?,2

6、2,在概率 下:,新颖检测举例,对于一个新的随机点 满足,概率的界:,模式函数的期望在概率 下的界为:,把满足 的项视为新颖项,把正常项误判为正常项的概率最大为,23,二分类举例,将训练集,S,划分为两个正例、负例子集:,S_,,,S,+,利用新颖检测,计算测试点,x,到,两子集质心的距离:,分类规则为:,b+,b-,24,数据分散度,标准化数据,两均值为,0,的随机变量,x,y,的协方差:两变量乘积的期望,不同原始特征,难以直接比较,需要在比较前进行标准化:,两变量的相关性:,以下三条件等价:,比较两变量的标准化结果,可衡量两变量的线性相关性,用于检测是否存在模式:,25,数据分散度,协方差

7、矩阵,考虑,l,个训练样本在,N,维特征空间中映射,记为,l,N,矩阵,N,N,协方差矩阵,C,元素,为,:,26,数据分散度,投影的方差,设,v,为,特征空间的单位向量,在,v,方向上投影的范数为,投影范数的中心为:,投影范数的方差为:,如何用内积计算?,将,v,表示成训练点的线性组合,27,数据分散度,投影的方差,投影范数的方差为:,将,v,表示成训练点的线性组合,28,9,模式识别中的核方法,9.1,核方法概述,9.2,核方法基础,9.3,凸优化与,SVM,29,凸优化与,SVM,超球体,在嵌入空间中,寻找包含训练数据集的最小超球体。并构建检测新颖(反常)数据的算法。,最大间隔超平面,在

8、嵌入空间中,寻找能将两类样本分开的最大间隔超平面,构建分类算法,凸二次规划问题,30,训练集 嵌入到特征空间,F,中,包含点集合的最小超球体,寻找一个包含所有特征点的最小超球体,中心是点的线性组合,且点数据点的跨度之内,对偶,31,包含点集合的最小超球体,对偶,lagrange,函数,32,最大化:,约束:,凸二次规划:,KT,条件:,=0,包含点集合的最小超球体,33,基于最小超球体的新颖检测,仅对支持向量有,仅需要计算,#SV,个内积,34,新颖检测稳定性,那么至少在 的概率下,在大小为 的样本上有:,令:,=0,,对于训练样本,在 的概率下,来自训练分布,D,的点落在以,c,为中心,为半

9、径的球的外部的概率小于 。,35,不一味追求包含所有点,避免个别噪声影响。,包含大部分点的软超球体,遗漏点的损失,半径过大的损失,VS,松弛变量:,两种损失的权衡,36,包含大部分点的软超球体,37,包含大部分点的软超球体,最大化:,约束:,凸二次规划:,38,包含大部分点的软超球体,选取某,i,,使 则,KT,条件:,=0,此时根据,KT,条件:,39,基于软超球体的新颖检测,在 的概率下,来自训练分布,D,的点被 判为新颖点的概率最大为:,40,v-,软最小超球体,软最小超球体,v-,软最小超球体,超球体外的点有,最多有 个点在球外,超球体内的有,至少有 个点不在球内,41,v-,软最小超

10、球体,在 的概率下,来自训练分布,D,的点被 判为新颖点的概率最大为:,测试超球体半径平方为:,v-,软最小超球体的优化目标为,即取 时,,测试超球体体积最小,希望,p,为定值,将概率的界固定,42,超球体的讨论,“,硬”最小包含球。,扩大半径,保证更大的概率下包含正常点,对于个别点敏感,不健壮,软最小包含球,不要求包含所有点,考虑半径大小与遗漏点的折中,有可能将任意点排斥在外。,v-,软最小包含球,给出包含于球内的点的界。,V,与误差率的联系。,43,3,对,L,求导,代回,Lagrange,函数,转化为基于 和核的对偶,凸优化,二次规划 求解,基于核的凸优化方法,1,在高维特征空间中,在样

11、本集,上构造优化问题,最小化目标,约束条件,2,构造,Lagrange,函数,4,根据,K_T,条件,得到基于核的模式函数,44,最优分类界面,样本集与分类界面之间的间隔 定义为样本与分类界面之间几何间隔的最小值。,最优分类界面:给定线性可分样本集,能够将样本分开的最大间隔超平面。,45,最大间隔分类器,线性函数:,训练样本:,46,最大间隔分类器,47,最大间隔分类器,最大化:,约束:,凸二次规划:,选择,由,KT,条件:,48,最大间隔分类器,模式函数:,在 的概率下泛化误差的界:,硬间隔:必须用在可分离情况,对噪声敏感,不健壮,软间隔:容忍部分分错,对噪声不敏感,健壮,49,软间隔分类器,50,软间隔分类器,51,软间隔分类器,与最大间隔的结果相同,仅约束条件不同:,52,软间隔分类器,最大化:,约束:,凸二次规划:,53,软间隔分类器,选择,使,在 的概率下泛化误差的界:,54,

移动网页_全站_页脚广告1

关于我们      便捷服务       自信AI       AI导航        抽奖活动

©2010-2025 宁波自信网络信息技术有限公司  版权所有

客服电话:4009-655-100  投诉/维权电话:18658249818

gongan.png浙公网安备33021202000488号   

icp.png浙ICP备2021020529号-1  |  浙B2-20240490  

关注我们 :gzh.png    weibo.png    LOFTER.png 

客服