中科院-国科大-黄庆明-模式识别与机器学习-期末考点-复习.pptx

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2016/1/14,#,模式识别与机器学习,第1页,第一章 概论,第二章统计判别,第三章 判别函数,第四章,特征选择和提取,第五章句法模式识别,第六章,统计学习理论基础,第七章有,监督学习基础算法,第八章,支持向量机,第九章,无监督学习与半监督学习,第十章,图模型基础,第十一章 集成学习,第十二章 神经网络与深度学习,本门课程主要内容,第2页,掌握相关概念：模式、机器学习、基本组成,比如模式概念：,广义地说，存在于时间和空间中可观察物体，假如我们能够区分它们是否相同或是否相同，都能够称之为模式。,模式所指不是事物本身，而是从事物取得信息，所以，模式往往表现为含有时间和空间分布信息。,模式直观特征,:,可观察性,可区分性,相同性,第一章概论,第3页,第一章概论,模式识别系统基本组成,机器学习基本组成,数据获取,特征提取和选择,预处理,分类决议,分类器设计,环境,学习,知识库,执行与评价,第4页,数据聚类,统计分类,结构模式识别,神经网络,监督学习,无监督学习,半监督学习,集成学习,增强学习,深度学习,主要分类和学习方法,第5页,在贝叶斯分类器中，结构分类器需要知道类概率密度函数。,类概率密度是正态分布，均值向量和协方差矩阵,均值和协方差矩阵非随机参数预计,均值和协方差矩阵预计量定义,均值和协方差矩阵预计量迭代运算,均值向量和协方差矩阵贝叶斯学习,普通概念,单变量正态密度函数均值学习,第二章统计判别,第6页,贝叶斯判别别,贝叶斯最小风险判别：,当考虑到对于某一类错误判决要比对另一类判决更为关键时，就需要把最小错误概率贝叶斯判别做一些修正，提出条件平均风险,r,j,(x),第二章统计判别,第7页,线性判别函数,用判别函数分类概念,线性判别函数普通形式和分类问题,两类问题,多类情况：三类情况,广义线性判别函数,基本思想,广义线性判别函数意义,线性判别函数,判别函数选取二次多项式函数,判别函数选取,r,次多项式函数,分段线性判别函数,模式空间和权空间,第三章判别函数,第8页,Fisher,线性判别,从,d,维空间到一维空间普通数学变换方法,Fisher,准则函数定义,基于最正确变换向量投影,感知器算法,线性判别函数感知器赏罚训练算法,采取感知器算法多类模式分类,可训练确实定性分类器迭代算法,梯度法,固定增量逐次调整算法,最小平方误差算法,第三章判别函数,第9页,势函数法,判别函数产生,分析步骤,势函数选择,第一类势函数：对称有限多项式展开,第二类势函数：双变量对称函数,决议树介绍,概念,二叉树,第三章判别函数,第10页,概念、意义,模式类别可分性测度：类内散度矩阵、类间散度矩阵,特征选择：定义可分性准则函数，如类内距离小，类距离大,特征提取：,K-L,变换（,PCA),思想：,选取变换矩阵，使得降维后新向量在最小均方差条件下靠近原来向量,x,第四章特征选择和提取,第11页,离散,K-L,变换,将原来特征做正交变换，取得每个数据都是原来,n,个数据线性组合，然后从新数据中选出少数几个，使其尽可能多地反应各类模式之间差异，而这些特征间又尽可能相互独立，则比单纯选择方法更灵活、更有效。,K-L,变换就是一个适合用于任意概率密度函数正交变换。,离散有限,K-L,展开,K-L,展开式性质,K-L,展开式系数计算步骤,按,K-L,展开式选择特征,三条结论,实例,第四章特征选择和提取,第12页,不考,第五章句法模式识别,第13页,Machine Learning(,概念、学习方法分类、历史,),Statistical Machine Learning,普通框架、形式化：,产生式、判别式模型：前者先推断,p(x,y),再利用贝叶斯求,p(y|x);,后者直接求解,p(y|x),过拟合和正则项（,Overtting and Regularization,）,:,经验风险最小化（,Empirical Risk Minimization,）,结构风险最小化,(Structural Risk Minimization):,所谓结构风险最小化就是在确保分类精度（经验风险）同时，降低学习机器,VC,维，能够使学习机器在整个样本集上期望风险得到控制。,第六章统计学习理论基础,第14页,Statistical Machine Learning,偏差方差分解（,Bias and Variance Decomposition,）,Trade-off:,A good insight into model complexity issue:,Very flexible models having low bias and high variance.,Relatively rigid models having high bias and low variance.,The model with the optimal predictive capacity is the one that leads to the best balance between bias and variance.,第六章统计学习理论基础,第15页,回归方法（,regression method),线性回归（,Linear Regression,）：,梯度下降求解：,closed form solution,随机梯度下降：,Stochastic Gradient Descent,在高斯噪声情形下，最小化均方误差（,LMS,）和与最大化似然（,MLE,）得到解是一样。,Regularized LMS,与最大化后验,MAP,在先验为,时，等价。,分类方法,感知器算法：,perceptron criterion,随机梯度下降求解,缺点,第七章有,监督学习基础算法,第16页,分类方法,Logistic,regression,MLE+SGD,求解,多类,logistic regression:,Cross Entropy Loss Function,产生式方法,高斯判别分析,(GDA):,用多变量正态分布对,p(x|y),进行建模，经过,MLE,求解。,GDA VS LR,朴素贝叶斯（,Nave Bayes,）：,X,是离散情况时,GDA,NB VS LR,第七章有,监督学习基础算法,第17页,思想：,函数,margin,几何,margin,Optimal Margin Classier:,转成问题,线性可分,SVM,及其对偶问题,Soft Margin,及其对偶问题,Non-separable SVM,及其对偶问题,第八章,支持向量机,Lagrangian Duality,第18页,Kernel,Kernelized SVM,SMO:Sequential Minimal,SVR:,普通形式及其对偶问题,Multi-class SVM:,一对多。,VC dimension:,普通而言,VC,维,越大,学习能力就越强,学习也越复杂；能够经过,VC,维,计算学习风险上界,第八章,支持向量机,第19页,概念,K-means:,形式化，思想,高斯混合模型及,EM,算法（思想，步骤）,层次聚类：,agglomerative clustering,：逐步合并,divisive clustering,：逐步拆分,第九章无监督学习与半监督学习,第20页,DBSCAN(Density-Based Spatial Clustering of Applications with,Noise),思想,All points within the cluster are mutually density-connected;,If a point is density-reachable from any point of the cluster,it is part ofthe cluster as well.,Mean-Shift Clustering,：,The main idea:iteratively locate the maxima of a density function,given data samples,A Recent Clustering Algorithm:,local density,its distance from points of higher density:,第九章无监督学习与半监督学习,第21页,流形学习,Multidimensional Scaling(MDS):,点对距离,Kernel PCA,Isomap,：保持内在几何结构（测地距离）,LLE,：映射到低维空间时要保持局部线性结构,LPP,：保持局部结构,第九章无监督学习与半监督学习,第22页,半监督学习,假设：平滑假设,Disagreement-based,方法：,Co-training,Low-density separation,方法：,transductive SVM,Graph-based SSL:,加入不一样正则项得到不一样方法,Manifold regularization,Laplacian Regularization least squares,第九章无监督学习与半监督学习,第23页,Bayesian,网络：推断、分类,Markov,链：,HMM,Likelihood evaluation:,前向、后向算法,最正确路径求解动态规划，,viterbi,参数预计,Baum-Welch,Markov,随机场,条件独立,分解,例子,条件随机场：,第十章,Graphical Models,第24页,PR/ML,中哲学理论,No Free Lunch Theorem,Ugly Duckling Theorem,Minimum Description Length principle,Occams razor,分类器设计时重采样技术,Bagging,Boosting,AdaBoost,Active Learning,Estimating and comparing classifiers,Cross validation,第十一章,Algorithm-IndependentMachine Learning,第25页,深度学习,(DL),及其应用前沿,DL,在,CV,领域应用启示,关键算法介绍,Perceptron,及学习算法,多层感知机,(MLP),及其,BP,算法,Auto-Encoder,CNN,及其主要变种,关于,DL,思索与讨论,第十二章深度学习,第26页,1.18,日，,13:30-15:30,考试时间,Good Luck!,第27页,