人工神经网络专业知识.pptx

资源描述

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2003.12.18,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,*,机器学习,第4章人工神经网络（ANN）,.12.18,1,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第1页,概述,人工神经网络提供了一个普遍且实用方法从样例中学习值为实数、离散值或向量函数,反向传输算法，使用梯度下降来调整网络参数以最正确拟合由输入-输出对组成训练集合,人工神经网络对于训练数据中错误健壮性很好,人工神经网络已被成功应用到很多领域，比如视觉场景分析，语音识别，机器人控制,.12.18,2,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第2页,介绍,神经网络学习对于迫近实数值、离散值或向量值目标函数提供了一个健壮性很强方法,对于一些类型问题，如学习解释复杂现实世界中传感器数据，人工神经网络是当前知道最有效学习方法,反向传输算法,成功例子，学习识别手写字符，学习识别口语，学习识他人脸,.12.18,3,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第3页,生物学动机,ANN受到生物学启发，生物学习系统是由相互连接神经元组成异常复杂网络。,ANN由一系列简单单元相互密集连接组成，其中每一个单元有一定数量实值输入，并产生单一实数值输出,人脑组成，大约有10,11,个神经元，平均每一个与其它10,4,个相连,神经元活性通常被通向其它神经元连接激活或抑制,最快神经元转换时间比计算机慢很多，然而人脑能够以惊人速度做出复杂度惊人决议,很多人推测，生物神经系统信息处理能力一定得益于对分布在大量神经元上信息表示高度并行处理,.12.18,4,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第4页,生物学动机（2）,ANN系统一个动机就是取得这种基于分布表示高度并行算法,ANN并未模拟生物神经系统中很多复杂特征,ANN研究分为两个团体,使用ANN研究和模拟生物学习过程,取得高效机器学习算法，不论这种算法是否反应了生物过程,本书属于后一个研究团体,.12.18,5,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第5页,神经网络表示,ALVINN系统,Pomerleau 1993,使用一个学习到ANN以正常速度在高速公路上驾驶汽车,ANN输入是一个30 x32像素网格，输出是车辆行进方向,每个节点对应一个网络单元输出，而从下方进入节点实线为其输入,隐藏单元，输出仅在网络内部，不是整个网络输出一部分,每个输出单元对应一个特定驾驶方向，这些单元输出决定哪一个方向是被最强烈推荐,.12.18,6,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第6页,神经网络表示（2）,ALVINN是很多ANN经典结构，全部单元分层互连形成一个有向无环图,通常，ANN图结构能够有很各种类型,无环或有环,有向或无向,本章讨论以反向传输算法为基础ANN方法,反向传输算法假定网络是一个固定结构，对应一个有向图，可能包含环,ANN学习就是为图中每一条边选取权值,大多数实际应用与ALVINN相同,.12.18,7,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第7页,适合神经网络学习问题,训练集合为含有噪声复杂传感器数据，比如来自摄像机和麦克风,需要较多符号表示问题，比如决议树学习任务，能够取得和决议树学习大致相当结果,反向传输算法是最惯用ANN学习技术,.12.18,8,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第8页,反向传输算法适合问题特征,实例是用很多“属性-值”对表示,目标函数输出可能是离散值、实数值或者由若干实数属性或离散属性组成向量,训练数据可能包含错误,可容忍长时间训练,可能需要快速求出目标函数值,人类能否了解学到目标函数是不主要,.12.18,9,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第9页,本章余后部分提要,讨论训练单个单元学习算法,介绍组成神经网络几个主要单元,感知器（perceptron）,线性单元（liner unit）,sigmoid单元（sigmoid unit）,给出训练多层网络反向传输算法,考虑几个普通性问题,ANN表征能力,假设空间搜索本质特征,过分拟合问题,反向传输算法变体,例子，利用反向传输算法训练识他人脸ANN,.12.18,10,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第10页,感知器,一个类型ANN系统是以感知器为基础,感知器以一个实数值向量作为输入，计算这些输入线性组合，假如结果大于某个阈值，就输出1，不然输出-1,其中每个w,i,是一个实数常量，或叫做权值，用来决定输入x,i,对感知器输出贡献率。尤其地，-w0是阈值。,.12.18,11,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第11页,感知器（2）,两种简化形式，附加一个常量输入x,0,=1，前面不等式写成,或写成向量形式,为了简短起见，把感知器函数写为,其中，,.12.18,12,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第12页,感知器（3）,学习一个感知器意味着选择权w,0,w,n,值。所以感知器学习要考虑候选假设空间H就是全部可能实数值权向量集合,.12.18,13,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第13页,感知器表征能力,能够把感知器看作是n维实例空间（即点空间）中超平面决议面,对于超平面一侧实例，感知器输出1，对于另一侧实例，输出-1,这个决议超平面方程是,能够被某个超平面分割样例集合，称为线性可分样例集合,.12.18,14,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第14页,感知器表征能力（2）,单独感知器能够用来表示很多布尔函数,表示m-of-n函数,感知器能够表示全部原子布尔函数：与、或、与非、或非,然而，一些布尔函数无法用单一感知器表示，比如异或,.12.18,15,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第15页,感知器表征能力（3）,因为全部布尔函数都可表示为基于原子函数互连单元某个网络，所以感知器网络能够表示全部布尔函数。实际上，只需要两层深度网络，比如表示析取范式,注意，要把一个AND感知器输入求反只要简单地改变对应输入权符号,因为感知器网络能够表示大量函数，而单独单元不能做到这一点，所以我们感兴趣是学习感知器组成多层网络,.12.18,16,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第16页,感知器训练法则,即使我们目标是学习由多个单元互连网络，但我们还是要从怎样学习单个感知器权值开始,单个感知器学习任务，决定一个权向量，它能够使感知器对于给定训练样例输出正确1或-1,我们主要考虑两种算法,感知器法则,delta法则,这两种算法确保收敛到可接收假设，在不一样条件下收敛到假设略有不一样,这两种算法提供了学习多个单元组成网络基础,.12.18,17,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第17页,感知器法则,算法过程,从随机权值开始,重复应用这个感知器到每个训练样例，只要它误分类样例就修改感知器权值,重复这个过程，直到感知器正确分类全部训练样例,感知器训练法则,其中,.12.18,18,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第18页,感知器法则（2）,为何这个更新法则会成功收敛到正确权值呢？,一些例子,能够证实（Minskey&Papert 1969）,假如训练样例线性可分，而且使用了充分小,不然，不能确保,.12.18,19,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第19页,梯度下降和delta法则,delta法则克服感应器法则不足，在线性不可分训练样本上，收敛到目标概念最正确近似,delta法则关键思想是，使用梯度下降来搜索可能权向量假设空间，以找到最正确拟合训练样例权向量,delta法则为反向传输算法提供了基础，而反向传输算法能够学习多个单元互连网络,对于包含各种不一样类型连续参数化假设假设空间，梯度下降是必须遍历这么空间全部算法基础,.12.18,20,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第20页,梯度下降和delta法则（2）,把delta训练法则了解为训练一个无阈值感知器,指定一个度量标准来衡量假设相对于训练样例训练误差,第6章给出了选择这种E定义一个贝叶斯论证，在一定条件下，使E最小化假设就是H中最可能假设,.12.18,21,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第21页,可视化假设空间,图4-4,依据E定义，误差曲面是一个抛物面，存在一个单一全局最小值,梯度下降搜索从一个任意初始权向量开始，然后沿误差曲面最陡峭下降方向，以很小步伐重复修改这个向量，直到得到全局最小误差点,.12.18,22,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第22页,梯度下降法则推导,怎样发觉沿误差曲面最陡峭下降方向？,经过计算E相对向量每个分量导数，这个向量导数被称为E对于梯度，记作,当梯度被解释为权空间一个向量时，它确定了使E最陡峭上升方向，所以这个向量反方向给出了最陡峭下降方向,梯度训练法则,其中，,.12.18,23,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第23页,梯度下降法则推导（2）,需要一个高效方法在每一步都计算这个梯度,梯度下降权值更新法则,.12.18,24,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第24页,梯度下降法则推导（3）,表4-1，训练线性单元梯度下降算法,Gradient-Descent(training_examples,),training_examples中每个训练样例形式为序偶，是输入值向量，t是目标输出值，是学习速率,初始化每个w,i,为某个小随机值,碰到终止条件之前，做以下操作,初始化每个,w,i,为0,对于训练样例training_examples中每个，做,把实例输入到此单元，计算输出o,对于线性单元每个权增量,w,i,，做,w,i,w,i,+,(t-o)x,i,对于线性单元每个权w,i,，做,w,i,w,i,+,w,i,.12.18,25,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第25页,梯度下降法则推导（4）,梯度下降算法以下,选取一个初始随机权向量,应用线性单元到全部训练样例，依据公式4.7计算每个权值更新权值,因为误差曲面仅包含一个全局最小值，所以不论训练样例是否线性可分，算法都会收敛到含有最小误差权向量，条件是使用足够小学习速率,算法一个惯用改进方法是伴随梯度下降步数增加逐步减小学习速率,.12.18,26,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第26页,梯度下降随机近似,梯度下降是一个主要通用学习范型，它是搜索庞大假设空间或无限假设空间一个策略,梯度下降应用于满足以下条件任何情况,假设空间包含连续参数化假设,误差对于这些假设参数可微,梯度下降主要实践问题,有时收敛过程可能非常慢,假如在误差曲面上有多个局部极小值，那么不能确保找到全局最小值,.12.18,27,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第27页,梯度下降随机近似（2）,随机梯度下降（或称增量梯度下降）,依据某个单独样例误差增量计算权值更新，得到近似梯度下降搜索（随机取一个样例）,对表4-1算法修改,能够看作为每个单独训练样例定义不一样误差函数,在迭代全部训练样例时，这些权值更新序列给出了对于原来误差函数梯度下降一个合理近似,经过使下降速率值足够小，能够使随机梯度下降以任意程度靠近于真实梯度下降,.12.18,28,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第28页,梯度下降随机近似（2）,标准梯度下降和随机梯度下降之间关键区分,标准梯度下降是在权值更新前对全部样例汇总误差，而随机梯度下降权值是经过考查每个训练样例来更新,在标准梯度下降中，权值更新每一步对多个样例求和，需要更多计算（？）,标准梯度下降，因为使用真正梯度，标准梯度下降对于每一次权值更新经常使用比随机梯度下降大步长,假如标准误差曲面有多个局部极小值，随机梯度下降有时可能防止陷入这些局部极小值中,实践中，标准和随机梯度下降方法都被广泛应用,.12.18,29,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第29页,梯度下降随机近似（3）,delta法则（增量法则），又称LMS法则、Adaline法则、Windrow-Hoff法则,公式4.10与4.4.2节感知器法则相同和区分,delta法则能够学习非阈值线性单元权，也能够用来训练有阈值感知器单元。,假如非阈值输出能够被训练到完美拟合这些值，那么阈值输出也会完美拟合它们,即使不能完美地拟合目标值，只要线性单元输出含有正确符号，阈值输出就会正确拟合目标值,尽管这个过程会得到使线性单元输出误差最小化权值，但这些权值不能确保阈值输出误差最小化（？）,.12.18,30,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第30页,感知器学习小结,感知器法则和delta法则关键差异,前者依据阈值化感知器输出误差更新权值,后者依据输入非阈值化线性组合误差来更新权值,这个差异带来不一样收敛特征,前者经过有限次迭代收敛到一个能理想分类训练数据假设，条件是训练样例线性可分,后者可能经过极长时间，渐近收敛到最小误差假设，但不论训练样例是否线性可分都会收敛,.12.18,31,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第31页,感知器学习小结（2）,学习权向量第3种方法是线性规划,线性规划是解线性不等式方程组一个通用有效方法,这种方法仅当训练样例线性可分时有解,Duda和Hart给出了一个更巧妙适合非线性可分情况方法,更大问题是，无法扩展到训练多层网络，而delta法则能够很轻易扩展到多层网络,.12.18,32,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第32页,多层网络和反向传输算法,多层网络能够表示种类繁多非线性曲面,图4-5描述了一个经典多层网络和它决议曲面,.12.18,33,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第33页,可微阈值单元,使用什么类型单元来构建多层网络？,多个线性单元连接仍产生线性函数，而我们希望构建表征非线性函数网络,感知器单元能够构建非线性函数，但它不连续阈值使它不可微，不适合梯度下降算法,我们需要单元满足条件,输出是输入非线性函数,输出是输入可微函数,Sigmoid单元，类似于感知器单元，但基于一个平滑可微阈值函数,.12.18,34,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第34页,可微阈值单元（2）,图4-6,sigmoid单元先计算它输入线性组合，然后应用到一个阈值上，阈值输出是输入连续函数,其中,.12.18,35,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第35页,可微阈值单元（3）,sigmoid函数,也称logistic函数,挤压函数,输出范围是0到1,单调递增,导数很轻易用函数本身表示,sigmoid函数变型,其它易计算导数可微函数,增加陡峭性,双曲正切函数,.12.18,36,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第36页,反向传输算法,用来学习多层网络权值,采取梯度下降方法试图最小化网络输出值和目标值之间误差平方,网络误差定义公式，对全部网络输出误差求和,.12.18,37,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第37页,反向传输算法（2）,反向传输算法面临学习任务,搜索一个巨大假设空间，这个空间由网络中全部单元全部可能权值定义，得到类似图4-4误差曲面,在多层网络中，误差曲面可能有多个局部极小值，梯度下降仅能确保收敛到局部极小值,尽管有这个障碍，已经发觉对于实践中很多应用，反向传输算法都产生了出众结果,.12.18,38,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第38页,反向传输算法（3）,表4-2包含两层sigmoid单元前馈网络反向传输算法,BackPropagation(training_examples,n,in,n,out,n,hidden,),training_examples是序偶集合，是网络输入值向量，是目标输出值。是学习速率，n,in,是网络输入数量，n,hidden,是隐藏层单元数，n,out,是输出单元数，从单元i到单元j输入表示为x,ji,，单元i到单元j权值表示为w,ji,。,创建含有n,in,个输入，n,hidden,个隐藏，n,out,个输出单元网络,初始化全部网络权值为小随机值,在碰到终止条件前,对于训练样例training_examples中每个,：,把输入沿网络前向传输,把实例输入网络，并计算网络中每个单元u输出o,u,使误差沿网络反向传输,对于网络每个输出单元k，计算它误差项,k,o,k,(1-o,k,)(t,k,-o,k,),对于网络每个隐藏单元h，计算它误差项,h,o,h,(1-o,h,),更新每个网络权值w,ji,w,ji,+w,ji,，其中w,ji,=,j,x,ji,.12.18,39,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第39页,反向传输算法（4）,表4-2给出反向传输算法适合用于包含两层sigmoid单元分层前馈网络，而且每一层单元与前一层全部单元相连。,表4-2是反向传输算法增量梯度下降（或随机梯度下降）版本,使用符号做了以下扩展,网络中每个节点被赋予一个序号，这里节点要么是网络输入，要么是网络中某个单元输出,x,ji,表示节点i到单元j输入，w,ji,表示对应权值,n,表示与单元n相关联误差项。,.12.18,40,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第40页,表4-2算法解释,从建立一个含有期望数量隐藏单元和输出单元网络并初始化全部网络权值为小随机数开始,给定一个固定网络结构，算法主循环就对训练样例进行重复迭代,对于每一个训练样例，它应用当前网络到这个样例，计算出对这个样例网络输出误差，然后更新网络中全部权值,对这么梯度下降步骤进行迭代，直到网络性能到达可接收精度为止,.12.18,41,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第41页,反向传输算法梯度下降法则,表4-2梯度下降权更新法则与delta训练法则相同,类似delta法则，依照以下三者来更新每一个权,学习速率,该权值包括输入值x,ji,该单元输出误差,不一样于delta法则地方,delta法则中误差项被替换成一个更复杂误差项,j,.12.18,42,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第42页,反向传输算法误差项,输出单元k误差项,k,与delta法则中(t,k,-o,k,)相同，但乘上了sigmoid挤压函数导数o,k,(1-o,k,)。,隐藏单元h误差项,因为训练样例仅对网络输出提供了目标值t,k,，所以缺乏直接目标值来计算隐藏单元误差值,采取以下间接方法计算隐藏单元误差项：对受隐藏单元h影响每一个单元误差,k,进行加权求和，每个误差,k,权值为w,kh,，w,kh,就是从隐藏单元h到输出单元k权值。这个权值刻画了隐藏单元h对于输出单元k误差应负责程度。,.12.18,43,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第43页,表4-2算法解释（2）,表4-2算法伴随每个训练样例出现而递增地更新权，这一点与梯度下降随机近似算法一致,要取得误差E真实梯度，需要在修改权值之前对全部训练样例,j,x,ji,值求和,在经典应用中，权值更新迭代会被重复上千次,有很多终止条件能够用来停顿这个过程,迭代次数到了一个固定值时停顿,当在训练样例上误差降到某个阈值以下,在分离验证样例集合上误差符合某个标准,终止条件很主要，太少迭代无法有效地降低误差，太多迭代会造成对训练数据过分拟合,.12.18,44,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第44页,增加冲量项,因为反向传输算法应用如此广泛，所以已经开发出了很多反向传输算法变体,修改权值更新法则，使第n次迭代时权值更新部分地依赖于发生在第n-1次迭代时更新，比如,w,ji,(n)=,j,x,ji,+w,ji,(n-1),右侧第一项就是表4-2中权值更新法则，第二项被称为冲量项,梯度下降搜索轨迹就像一个球沿误差曲面滚下，冲量使球从一次迭代到下一次迭代时以一样方向滚动,冲量有时会使这个球滚过误差曲面局部极小值或平坦区域,冲量也含有在梯度不变区域逐步增大搜索步长效果，从而加紧收敛,.12.18,45,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第45页,学习任意无环网络,表4-2算法能够简单地推广到任意深度前馈网络,第m层单元r,r,值由更深第m+1层值依据下式计算,将这个算法推广到任何有向无环结构也一样简单，而不论网络中单元是否被排列在统一层上，计算任意内部单元法则是：，Downstream(r)是在网络中单元r直接下游单元集合，即输入中包含r输出全部单元,.12.18,46,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第46页,反向传输法则推导,随机梯度下降算法迭代处理训练样例，每次处理一个，对于每个训练样例d，利用关于这个样例误差E,d,梯度修改权值,.12.18,47,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第47页,符号说明,x,ji,，单元j第i个输入,w,ji,，与x,ji,相关联权值,net,j,，单元j输入加权和,o,j,，单元j计算出输出,t,j,，单元j目标输出,，sigmoid函数,outputs，网络最终一层输出单元集合,Downstream(j)，单元j输出抵达单元集合,.12.18,48,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第48页,随机梯度下降法则推导,，分情况讨论推导,输出单元,.12.18,49,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第49页,随机梯度下降法则推导（）,隐藏单元,.12.18,50,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第50页,收敛性和局部极小值,对于多层网络，误差曲面可能含有多个不一样局部极小值，梯度下降可能陷入这些局部极小值中任何一个,对于多层网络，反向传输算法仅能确保收敛到误差E某个局部极小值，不一定收敛到全局最小误差,尽管缺乏对收敛到全局最小误差确保，反向传输算法在实践中仍是非常有效函数迫近算法,.12.18,51,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第51页,收敛性和局部极小值（）,网络权越多，误差曲面维数越多，也就越可能为梯度下降提供更多逃逸路线,考虑伴随训练中迭代次数增加网络权值演化方式,假如把网络权值初始化为靠近于0值，那么在早期梯度下降步骤中，网络将表现为一个非常平滑函数，近似为输入线性函数，这是因为sigmoid函数本身在权值靠近0时靠近线性,仅当权值增加一定时间后，它们才会抵达能够表示高度非线性网络函数程度，能够预期在这个能表示更复杂函数权空间区域存在更多局部极小值,不过当权抵达这一点时，它们已经足够靠近全局最小值，即便它是这个区域局部最小值也是能够接收,.12.18,52,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第52页,收敛性和局部极小值（3）,用来缓解局部极小值问题启发式规则,为梯度更新法则加一个冲量，能够带动梯度下降过程，冲过狭窄局部极小值（标准上，也可能冲过狭窄全局最小值）,使用随机梯度下降而不是真正梯度下降。随机近似对于每个训练样例沿一个不一样误差曲面有效下降，这些不一样误差曲面通常有不一样局部极小值，这使得下降过程不太可能陷入一个局部极小值,使用一样数据训练多个网络，但用不一样随机权值初始化每个网络。假如不一样训练产生不一样局部极小值，那么对分离验证集合性能最好那个网络将被选中，或者保留全部网络，输出是全部网络输出平均值,.12.18,53,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第53页,前馈网络表征能力,布尔函数：任何布尔函数能够被含有两层单元网络准确表示，尽管在最坏情况下所需隐藏单元数量伴随网络输入数量增加成指数级增加。,考虑下面通用方案：对于每一个可能输入向量，创建不一样隐藏单元，并设置它权值使当且仅当这个特定向量输入到网络时该单元被激活，这么就产生了一个对于任意输入仅有一个单元被激活隐藏层，然后把输出单元实现为一个仅由所希望输入模式激活或门。,.12.18,54,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第54页,前馈网络表征能力（2）,连续函数：每个有界连续函数能够由一个两层网络以任意小误差迫近。这个结论适合用于在隐藏层使用sigmoid单元、在输出层使用（非阈值）线性单元网络。所需隐藏单元数量依赖于要迫近函数。,任意函数：任意函数能够被一个有三层单元网络以任意精度迫近。两个隐藏层使用sigmoid单元，输出层使用线性单元，每层所需单元数不确定。,证实方法：首先说明任意函数能够被许多局部化函数线性组合迫近，这些局部化函数值除了某个小范围外都为0；然后说明两层sigmoid单元足以产生良好局部迫近,注意：梯度下降从一个初始值开始，所以搜索范围里网络权向量可能不包含全部权向量,.12.18,55,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第55页,假设空间搜索和归纳偏置,反向传输算法假设空间是n个网络权值形成n维欧氏空间。这个空间是连续，与决议树学习和其它基于离散表示方法假设空间不一样,假设空间连续性以及误差E关于假设连续参数可微，造成了一个定义良好误差梯度，为最正确假设搜索提供了一个非常有用结构。,准确地刻画出反向传输学习归纳偏置是有难度，它依赖于梯度下降搜索和权空间覆盖可表征函数空间方式相互作用性,把这一偏置粗略地刻画为在数据点之间平滑插值。假如给定两个正例，它们之间没有反例，反向传输算法会倾向于把这两点之间点也标识为正例,.12.18,56,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第56页,隐藏层表示,反向传输算法一个迷人特征是：它能够在网络内部隐藏层发觉有用中间表示,训练样例仅包含网络输入和输出，权值调整过程能够自由地设置权值，来定义任何隐藏单元表示，这些隐藏单元表示在使误差E到达最小时最有效。,引导反向传输算法定义新隐藏层特征，这些特征在输入中没有明确表示出来，但能捕捉输入实例中与学习目标函数最相关特征,多层网络在隐藏层自动发觉有用表示能力是ANN学习一个关键特征。允许学习器创造出设计者没有明确引入特征。,网络中使用单元层越多，就能够创造出越复杂特征,.12.18,57,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第57页,泛化、过分拟合和停顿判据,权值更新算法终止条件,一个选择是，对训练样例误差降低至某个预先定义阈值之下,这不是一个好策略，因为反向传输算法轻易过分拟合训练样例，降低对于其它未见实例泛化精度,泛化精度：网络拟合训练数据外实例精度,图4-9，尽管在训练样例上误差连续下降，但在验证样例上测量到误差先下降，后上升。,因为这些权值拟合了训练样例“特异性”，而这个特异性对于样例普通分布没有代表性。ANN中大量权值参数为拟合这么“特异性”提供了很大自由度,.12.18,58,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第58页,过分拟合,为何过分拟合发生在迭代后期，而不是早期？,构想网络权值是被初始化为小随机值，使用这些几乎一样权值仅能描述非常平滑决议面,伴随训练进行，一些权值开始增加，以降低在训练数据上误差，同时学习到决议面复杂度也在增加,假如权值调整迭代次数足够多，反向传输算法可能会产生过分复杂决议面，拟合了训练数据中噪声和训练样例中没有代表性特征,.12.18,59,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第59页,过分拟合处理方法,权值衰减,它在每次迭代过程中以某个小因子降低每个权值，这等效于修改E定义，加入一个与网络权值总量对应处罚项，此方法动机是保持权值较小，从而使学习过程向着复杂决议面反方向偏置,验证数据,一个最成功方法是在训练数据外再为算法提供一套验证数据，应该使用在验证集合上产生最小误差迭代次数，不是总能显著地确定验证集合何时到达最小误差,.12.18,60,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第60页,过分拟合处理方法（2）,普通而言，过分拟合是一个棘手问题,交叉验证方法在可取得额外数据提供验证集合时工作得很好，不过小训练集合过分拟合问题更为严重,k-fold交叉方法,把训练样例分成k份，然后进行k次交叉验证过程，每次使用不一样一份作为验证集合，其余k-1份合并作为训练集合。,每个样例会在一次试验中被用作验证样例，在k-1次试验中被用作训练样例,每次试验中，使用上面讨论交叉验证过程来决定在验证集合上取得最正确性能迭代次数，然后计算这些迭代次数均值,最终，运行一次反向传输算法，训练全部m个实例并迭代次,.12.18,61,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第61页,举例：人脸识别,训练样例,20个不一样人摄影图像,每个人大约32张图像,不一样表情,高兴、沮丧、愤恨、中性,不一样方向,左、右、正前、上,不一样穿戴,是否带眼镜,共624幅灰度图像,分辨率为120 x128，每个像素使用0（黑）到255（白）灰度值描述,任务：学习图像中人脸朝向,.12.18,62,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第62页,人脸识别设计要素,输入编码,ANN输入必定是图像某种表示，那么设计关键是怎样编码这幅图像,比如，能够对图像进行预处理，分解出边缘、亮度一致区域或其它局部图像特征，然后把这些特征输入网络，问题是造成每幅图像有不一样数量特征参数，而ANN含有固定数量输入单元,把图像编码成固定30 x32像素亮度值，每个像素对应一个网络输入，把范围是0到255亮度值按百分比线性缩放到0到1区间内，以使网络输入和隐藏单元、输出单元在一样区间取值。,.12.18,63,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第63页,人脸识别设计要素（2）,输出编码,ANN必须输出4个值中一个来表示输入图像中人脸朝向,能够使用单一输出单元来编码这4种情况,这里使用4个不一样输出单元，每一个对应4种可能朝向中一个，取含有最高值输出作为网络预测值。称为1-of-n输出编码,选择1-of-n原因,为网络表示目标函数提供了更大自由度,最高值输出和次高值输出间差异能够作为对网络预测置信度,.12.18,64,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第64页,人脸识别设计要素（3）,输出单元目标值,一个显而易见方法，.,这里使用方法，.,防止使用0和1作为目标值原因,sigmoid单元对于有限权值不能产生这么输出,假如企图训练网络来准确匹配目标值0和1，梯度下降将会迫使权值无限增加,0.1和0.9是sigmoid单元在有限权值情况下能够完成,.12.18,65,机器学习-人工神经网络作者：Mitchell 译者：曾华军等讲者：陶晓鹏,人工神经网络专业知识专家讲座,第65页,人脸识别设计要素（4）,网络结构图,网络包含多少个单元以及怎样互连？,最普遍结构是分层网络，一层每个单元向前连接到下一层每一个单元,当前采取了包含两层sigmoid单元标准结构,隐藏单元数量,3个，到达90%精度，训练时间约5分钟,30个，提升12个百分点，训练时间约1个小时,实践发觉，需要某个最小数量隐藏单元来准确地学习目标函数，而且超出这个数量多出隐藏单元不会显著地提升泛化精度,假如没有使用交叉验证，那么增加隐藏单元数量经常会增加过分拟合训练数据倾向，从而降低泛化精度,.12.18,66,机器学习-人工神经网络作者：Mitchell 译者：曾华军等

展开阅读全文