机器学习入门：回归问题PPT学习课件.ppt

机器学习入门：,回归,算法,原理及应用,1,2025/4/17 周四,人类学习过程,认知,模仿，实践,反馈,再认知,2,2025/4/17 周四,？,机器学习,就是让计算机从大量的数据中学习到相关的规律和逻辑，然后利用学习来的规律来,进行决策，推理和识别等,。,什么是机器学习？,测试数据,发现规律,测试,结果评估,规则,邮件,X,i,Y,i,：垃圾,or,正常,发件人邮件地址异常；,标题含有“低价促销”,3,2025/4/17 周四,机器学习应用实例,应用实例：,1,、对语言、文字的认知与识别,2,、对图像、场景、自然物体的认知与识别,3,、对规则的学习与掌握,例如：下雨天要带伞，生病要吃药，天冷了要穿厚衣服等,4,、对复杂事物的推理与判断能力,例如：好人与坏人的辨别能力，事物的正误的判断能力,4,2025/4/17 周四,机器学习的种类,根据学习方式的不同，可以分为监督学习，无监督学习和强化学习等几种类型。,监督学习,（有指导）,无监督学习,（自学）,强化学习,（自我评估）,5,2025/4/17 周四,机器学习三要素,机器学习可以认为是一个在逐步发现和探索规律的过程。学习过程主要包含以三个要素：,模型表示,问题的影响因素,(,特征,),有哪些？它们之间的关系如何？,模型评估,什么样的模型是好的模型,参数优化,如何高效的找到最优参数,6,2025/4/17 周四,”回归“的由来,英国人类学家,F.Galton,首次在,自然遗传,一书中，提出并阐明了“相关”和“相关系数”两个概念，为相关论奠定了基础。,其后，他和英国统计学家,Karl Pearson,对上千个家庭的,身高,，,臂长,，,拃长,（伸开大拇指与中指两端的最大长度）做了测量，发现了一种现象。,7,2025/4/17 周四,回归问题应用场景,回归分析属于有监督学习，简单有效，应用十分广泛：,8,2025/4/17 周四,一个简单的例子,9,2025/4/17 周四,回归分析,回归分析研究的主要是,因变量（目标）,和,自变量（经验）,之间的依存关系。按关系类型，又可分为,线性回归,分析和,非线性回归,分析。学习过程如下：,10,2025/4/17 周四,线性回归：,寻找,X,和,Y,之间的关系,如何确定参数,，,呢？,常采用的策略是,误差平方和最小化准则,，即：,理想的拟合直线,Linear,Regression,11,2025/4/17 周四,最小二乘算法,现在问题就转化为求,的最小值问题。,具体的做法是：,1,）,对目标函数求导,2,）,零其导数为,0,，求得极值,如果函数是凸函数，,极值点就是最值点,。这即是著名方法,最小二乘的基本思想。,12,2025/4/17 周四,最小二乘算法,三个未知数，三个方程，可以解出,，,，,13,2025/4/17 周四,选择“最优回归方程”,回归方程中包含的,自变量个数越多，回归平方和就越大，残差平方和越小，预测值的置信区间也越小,。,既要选择对预测影响显著的自变量，又要使回归的,损失,很小，这样才有利于预测。,选择“最优回归方程”的方法有：,最优子选择法（,best,subset,selection,）,逐步选择法（,stepwise,selection,）,14,2025/4/17 周四,Best,subset,selection,最优子集选择法（,best,subset,selection,），即对,n,个预测变量的所有可能组合（共有,2,n,-1,）分别进行拟合，然后选择出最优模型。,15,2025/4/17 周四,Stepwise Selection,逐步选择法按选择方式的不同，共分为三种：,前向逐步选择法（,Forward,Stepwise,S,election,）,后向逐步选择法（,Backward,Stepwise,Selection,）,逐步回归法（,Stepwise,Regression,）,基于最优子集回归方法的一些缺陷，逐步选择的优点是限制了搜索空间，从而提高了运算效率。,16,2025/4/17 周四,Forward,Stepwise Selection,以零模型为起点，依次往模型中添加变量，直至加完所有的变量。,但每次优先将能够最大限度地提升模型效果的变量加入模型。,但无法保证找到的模型是所有,2,n,-1,个模型中最优的，且可能在前期将后来变得多余的变量纳入模型。,模型个数：,n(n+1)/2+1,17,2025/4/17 周四,Backward,Stepwise,Selection,以全模型为起点，逐次迭代，每次移除一个对模型拟合结果最不利的变量。,需满足样本量,m,大于变量个数,n,（保证全模型被拟合）。而前向逐步选择即时在,mn,的情况下也可以使用，适应于高维数据。,模型个数：,n(n+1)/2+1,18,2025/4/17 周四,Stepwise,Regression,该方法将前向选择与后项进行了结合，试图达到最优子集选择效果的同时也保留了前向和后向逐步选择在计算上的优势。,19,2025/4/17 周四,损失函数（,l,oss,function,）,损失函数,(loss function),度量预测错误的程度，常记作,L(Y,f(X),。常见的损失函数有以下几种：,0-1,损失函数（,0-1,loss,function,）,：,缺点：,无法度量损失的“严重程度”,。,20,2025/4/17 周四,损失函数（,loss,function,）,平方损失函数（,quadratic,loss,function,）,：,对数损失函数（,logarithmic,loss,function,）,:,指数损失函数（,exp-loss,function,）,:,21,2025/4/17 周四,梯度下降算法,梯度下降法：是一种优化算法，通常也称为,最速下降,基本思想：,在下山时，如果想以最快的方式到达山底，应该沿着,山势最陡,的方向，也即,山势变化最快的方向,。,同样，如果从任意一点出发，需要最快搜索到函数的最小值，那么也应该从,函数变化最快的方向,搜索,而函数变化最快的方向就是,函数的负梯度方向,22,2025/4/17 周四,梯度下降算法,梯度下降法是一种迭代算法，迭代更新,X,的值，逐步实现目标函数的极小化。,具体的更新过程如下：,1,）初始化,（随机初始化）,2,）迭代新的,使得,J(,),更小,:,3,）如果,J(,),能够继续减少，返回,(2),注：,为步长,(,或称学习速率,),23,2025/4/17 周四,损失计算方法,批量梯度下降法（,BGD,）：,是梯度下降法最原始的形式，在更新每一参数时都使用所有的样本来进行更新。,随机梯度下降法（,SGD,）,：它的具体思路是在更新每一参数时都使用一个样本来进行更新。,Mini-batch Gradient Descent,（,MBGD,）,：它的具体思路是在更新每一参数时都使用一部分样本来进行更新,24,2025/4/17 周四,可能存在的问题,学习过程可能出现的问题：,1,）数据量过少（,m=1,）：,L1,范数,：当,p=1,时，是,L1,范数，表示某个向量中所有元素的绝对值之和。,L2,范数,：当,p=2,时，是,L2,范数，表示某个向量中所有元素的平方和再开根号。,29,2025/4/17 周四,Ridge Regression,正则化项是参数的,L2,范数时，整个回归方法就叫做,岭回归,。相应,损失函数,：,那么为什么叫做“岭”回归呢？,30,2025/4/17 周四,Lasso,Regression,lasso,回归,：参数范数为,L1,范数,优势：不仅可以,解决过拟合,问题，而且可以在参数缩减过程中，将一些重复或不重要的参数直接缩减为零（删除），有,提取有用特征,的作用。,劣势：,计算过程复杂,，毕竟,L1,范数,不是连续可导,的。,31,2025/4/17 周四,L1,正则与,L2,正则,拉普拉斯分布：,上式即为拉普拉斯分布的密度函数，其中,为数学期望（位置参数），,b,为振幅。,32,2025/4/17 周四,L1,正则与,L2,正则,高斯分布：,上式即为高斯斯分布的密度函数，其中,为数学期望（位置参数），,为标准差（振幅）。两者分布等于,0,和,1,时，为标准正态分布。,33,2025/4/17 周四,L1,正则与,L2,正则,从贝叶斯角度来看，正则化相当于对模型参数引入了先验分布，即对模型参数加了分布约束：,L1,正则,，模型参数服从拉普拉斯分布，,只有很小的,|w|,，才能得到较大的概率，,L2,正则,，模型参数服从高斯分布,对大的,|w|,，概率较低，而在接近,0,的时候，概率变换缓慢，最终解的,w,趋于,0,附近,。,34,2025/4/17 周四,L1,正则与,L2,正则,对模型加入参数的正则化项后，模型会尝试,最小化,这些,权值参数,。而这个最小化就像一个下坡的过程，,L1,和,L2,的另一个差别就在于这个“,坡,”不同。,如下图：,L1,就是按,绝对值函数,的“坡”下降的，而,L2,是按,二次函数,的“坡”下降。所以实际上在,0,附近，,L1,的下降速度比,L2,的下降速度要快。,35,2025/4/17 周四,另一种回归方法叫,Elastic,Net,，它同时采用了,L1,和,L2,正则，以综合,Ridge,Regression,和,Lasso,Regression,两者的优点。,既能稀疏化模型权重，又能保持岭回归的稳定性。,Elastic,Net,36,2025/4/17 周四,非线性模型,对于非线性关系问题，自然的方法是将标准线性模型换成一个多项式函数：,Y,i,=b,0,+b,1,*x,i,+b,2,*x,i,2,+b,3,*x,i,3,+,+b,n,*x,i,n,称为,多项式回归,。,对于一般的非线性模型，本质上是在对,X,的函数或变换进行建模：,这里,的形式是事先确定好的。,37,2025/4/17 周四,回归问题讨论,回归分析要有实际意义；,异常值检测。,38,2025/4/17 周四,扩展内容,在实际应用中，问题复杂多样，不同的问题可能需要不同的方法来解决。除了以上所介绍的回归方法外，还有很多方法：比如基于生成模型的,贝叶斯回归,（,Bayesian Regression,），基于树模型的,分类回归树,（,CART,），,基于集成方法的,梯度提升树,（,GBDT,）及,XGboost,等。,39,2025/4/17 周四,T,H,A,N,K,S,40,2025/4/17 周四,