第8章-人工神经网络及其应用(AI应用3版).ppt

書式設定,書式設定,第 2,第 3,第 4,第 5,*,Artificial Intelligence Principles and Applications,書式設定,書式設定,第 2,第 3,第 4,第 5,1,第,8,章 人工神经网络及其应用,神经网络（,neural networks,，,NN,）,生物神经网络,(natural neural network,NNN):,由中枢神经系统（脑和脊髓）及周围神经系统（感觉神经、运动神经等）所构成的错综复杂的神经网络，其中最重要的是,脑神经系统,。,人工神经网络,(artificial neural networks,ANN):,模拟,人脑神经系统,的结构和功能，运用大量简单处理单元经广泛连接而组成的人工网络系统。,神经网络方法：,隐式,的知识表示方法,2,第,8,章 人工神经网络及其应用,8.1,神经元与神经网络,8.2 BP,神经网络及其学习算法,8.3 BP,神经网络的应用,8.4 Hopfield,神经网络及其改进,8.5 Hopfield,神经网络的应用,8.6 Hopfield,神经网络优化方法求解,JSP,8.7,卷积神经网络,及其应用,3,第,8,章 人工神经网络及其应用,8.1,神经元与神经网络,8.2 BP,神经网络及其学习算法,8.3 BP,神经网络的应用,8.4 Hopfield,神经网络及其改进,8.5 Hopfield,神经网络的应用,8.6 Hopfield,神经网络优化方法求解,JSP,8.7,卷积神经网络,及其应用,6,8.1.1,生物神经元的结构,（,输入,）,（,输出,）,神经冲动,生物神经元结构,7,8.1.1,生物神经元的结构,工作状态：,兴奋状态,：细胞膜电位,动作电位的阈值,神经冲动,抑制状态,：,细胞膜电位,0,w,ij,=,w,ji,则 ；当且仅当,72,8.4.3,随机神经网络,Hopfield,神经网络中，神经元状态为,1,是根据其输入是否大于阈值确定的，是确定性的。,随机神经网络中，神经元状态为,1,是随机的，服从一定的概率分布。例如，服从玻尔兹曼,(Boltzmann),、高斯,(Gaussian),、柯西,(Cauchy),分布等，从而构成玻尔兹曼机、高斯机、柯西机等随机机。,73,8.4.3,随机神经网络,1,.,Boltzmann,机,1985,年，加拿大多伦多大学教授欣顿,(Hinton),等人借助统计物理学的概念和方法，提出了,Boltzmann,机神经网络模型。,Boltzmann,机是离散,Hopfield,神经网络的一种变型，通过对离散,Hopfield,神经网络加以扰动，使其以概率的形式表达，而网络的模型方程不变，只是输出值类似于,Boltzmann,分布以概率分布取值。,Boltzmann,机是按,Boltzmann,概率分布动作的神经网络。,74,8.4.3,随机神经网络,1.Boltzmann,机（续）,离散,Hopfield,神经网络的输出：,Boltzman,机的内部状态：,神经元 输出值为,0,和,1,时的概率：,75,8.4.3,随机神经网络,1.Boltzmann,机（续）,Boltzmann,的能量函数：,神经元 状态转换时网络能量的变化：,神经元 改变为状态,“,1,”,的概率：,),exp(,1,1,T,E,p,i,i,D,-,+,=,76,2.,高斯机,8.4.3,随机神经网络,:,均值为,0,的高斯随机变量（白噪声），其方差为,3.,柯西机,:,柯西随机变量（有色噪声）,77,8.4.4,混沌神经网络,1.,混沌,混沌：自然界中一种较为普遍的非线性现象，其行,为看似混乱复杂且类似随机，却存在精致的内在规,律性。,混沌的性质：,（,1,）随机性：类似随机变量的杂乱表现。,（,2,）遍历性：不重复地历经一定范围内的所有状态。,（,3,）规律性：由确定性的迭代式产生。,78,1.,混沌（续）,混沌学的研究热潮开始于,20,世纪,70,年代初期。,1963,年，,Lorenz,在分析气候数据时发现：初值十分接近的两条曲线的最终结果会相差很大，从而获得了混沌的第一个例子。,1975,年，,Li-Yorke,的论文,周期,3,意味着混沌,使“混沌”一词首先出现在科技文献中。混沌的发现，对科学的发展具有深远的影响。,8.4.4,混沌神经网络,79,8.4.4,混沌神经网络,2.,混沌神经元,混沌神经元（,1987,年，,Freeman,）：构造混沌神经网络的基本单位。,混沌神经元模型：,80,8.4.4,混沌神经网络,3.,混沌神经网络,1990,年，,Aihara,等提出了第一个混沌神经网络模型,(chaotic neural network,，,CNN),。,1991,年，,Inoue,等利用两个混沌振荡子耦合成一个神经元的方法，构造出一个混沌神经计算机,.,1992,年，,Nozawa,基于欧拉离散化的,Hopfield,神经网络，通过增加一个大的自反馈项，得到了一个与,Aihara,等提出的类似的,CNN,模型。,81,8.4.4,混沌神经网络,3.,混沌神经网络,（,1,）基于模拟退火策略的自抑制混沌神经网络,1995,年，,Chen,等提出的暂态混沌神经网络,(transient chaotic neural network,，,TCNN),：,82,8.4.4,混沌神经网络,3.,混沌神经网络,（,1,）基于模拟退火策略的自抑制混沌神经网络,具有,暂态混沌特性,。,能演化到一个稳定状态。,搜索区域为一分形结构。,具有混沌退火机制。,一种广义的混沌神经网络。,可求解,0-1,问题，也可求解连续非线性优化问题。,83,8.4.4,混沌神经网络,非线性函数：,84,8.4.4,混沌神经网络,3.,混沌神经网络,（,2,）基于加大时间步长的混沌神经网络,CHNN,的欧拉离散化：,1998,年，,Wang,和,Smith,采用加大时间步长产生混沌：,85,8.4.4,混沌神经网络,3.,混沌神经网络,（,3,）引入噪声的混沌神经网络,1995,年，,Hayakawa,等的混沌神经网络：,86,8.5 Hopfield,神经网络的应用,8.5.1 Hopfield,神经网络在联想记忆中的应用,8.5.2 Hopfield,神经网络优化方法,87,如何实现,HNN,的联想记忆,功能,?,网络能够通过联想来输出和输入模式,最为相似的样本模式。,8.5.1 Hopfield,神经网络在联想记忆中的应用,88,例,传感器输出：,外形，质地，重量,T,8.5.1 Hopfield,神经网络在联想记忆中的应用,89,例,样本,:,步骤：,（,1,）设计,DHNN,结构,（,2,）设计连接权矩阵,（,3,）测试,具体怎样实现联想记忆？,8.5.1 Hopfield,神经网络在联想记忆中的应用,传感器输出：,外形，质地，重量,T,90,样本,:,（,1,）设计,DHNN,结构,3,神经元的,DHNN,结构图,注：,8.5.1 Hopfield,神经网络在联想记忆中的应用,91,样本,:,，,连接权：,（,2,）设计连接权矩阵,8.5.1 Hopfield,神经网络在联想记忆中的应用,92,样本,:,，,连接权：,T,0,1,0,),2,(,=,x,（,2,）设计连接权矩阵,8.5.1 Hopfield,神经网络在联想记忆中的应用,93,（,2,）设计连接权矩阵,8.5.1 Hopfield,神经网络在联想记忆中的应用,94,输入：,1,，,1,，,1,T,输出,?,（,3,）测试,8.5.1 Hopfield,神经网络在联想记忆中的应用,95,（,3,）测试,调整次序,：,初始状态,：,测试用例,：,样本,：,8.5.1 Hopfield,神经网络在联想记忆中的应用,96,调整次序：,2,13,k,=0,8.5.1 Hopfield,神经网络在联想记忆中的应用,97,k,=1,调整次序,：,2,1,3,8.5.1 Hopfield,神经网络在联想记忆中的应用,98,k,=2,调整次序,：,21,3,8.5.1 Hopfield,神经网络在联想记忆中的应用,99,k,=2,k,=3,k,=0,k,=1,样本,：,调整次序,：,2 1 3,2,1 3,2,1,3,2 1,3,8.5.1 Hopfield,神经网络在联想记忆中的应用,100,例,输入：,1,，,1,，,1,T,输出：,1,，,0,，,1,T,8.5.1 Hopfield,神经网络在联想记忆中的应用,101,连续,Hopfiled,神经网络求解约束优化问题的基本思路：,8.5.2 Hopfield,神经网络优化方法,1985,年，霍普菲尔德和塔克（,D.W.Tank,）应用连续,Hopfield,神经网络求解旅行商问题（,traveling salesman problem,，,TSP,）获得成功。,102,8.5.2 Hopfield,神经网络优化方法,用神经网络方法求解优化问题的一般步骤：,（,1,）将优化问题的每一个可行解用换位矩阵表示。,（,2,）将换位矩阵与由,n,个神经元构成的神经网络相对应：每一个可行解的换位矩阵的各元素与相应的神经元稳态输出相对应。,（,3,）构造能量函数，使其最小值对应于优化问题的最优解，并满足约束条件。,（,4,）用罚函数法构造目标函数，与,Hopfield,神经网络的计算能量函数表达式相等，确定各连接权和偏置参数。,（,5,）给定网络初始状态和网络参数等，使网络按动态方程运行，直到稳定状态，并将它解释为优化问题的解。,103,应用举例：,Hopfield,神经网络优化方法求解,TSP,。,1985,年，霍普菲尔德和塔克（,D.W.Tank,）应用连续,Hopfield,神经网络求解旅行商问题获得成功。,旅行商问题（,traveling salesman problem,，,TSP,）：有,n,个城市，城市间的距离或旅行成本已知，求合理的路线使每个城市都访问一次，且总路径（或者总成本）为最短。,8.5.2 Hopfield,神经网络优化方法,104,应用举例：,Hopfield,神经网络优化方法求解,TSP,旅行商问题（,TSP,）：,典型的组合优化问题,用穷举法，,Cray,计算机的计算速度：,10,8,次,/,秒。,1985,年，,Hopfield,和,Tank,用,Hopfield,网络求解,n,30,的,TSP,问题，,0.2 s,就得到次优解。,8.5.2 Hopfield,神经网络优化方法,105,5,个城市的,TSP,：,神经元数目：,25,8.5.2 Hopfield,神经网络优化方法,106,TSP,的描述：,用罚函数法，写出优化问题的目标函数：,8.5.2 Hopfield,神经网络优化方法,107,Hopfield,神经网络能量函数：,8.5.2 Hopfield,神经网络优化方法,令,E,1,与目标函数,J,相等，确定神经网络,的连接权值和偏置电流,：,108,神经网络的动态方程,：,8.5.2 Hopfield,神经网络优化方法,109,选择合适的,A,、,B,、,C,、,D,和网络的初始状态，按网络动态方程演化直到收敛。,8.5.2 Hopfield,神经网络优化方法,110,神经网络优化计算目前存在的问题：,（,1,）解的不稳定性。,（,2,）参数难以确定。,（,3,）能量函数存在大量局部极小值，难以保证最优,解。,8.5.2 Hopfield,神经网络优化方法,111,8.6 Hopfield,神经网络优化方法求解,JSP,8.6.1,作业车间调度问题,8.6.2 JSP,的,Hopfield,神经网络及其求解,8.6.3,作业车间生产调度举例,8.6.4,基于随机神经网络的生产调度方法,112,8.6.1,作业车间调度问题,作业车间调度问题（,job-shop scheduling Problem,，,JSP,）,:,一类满足任务配置和顺序约束要求的资源分配问题。,问题描述：给定一个作业（工件）的集合和一个机器的集合，每个作业包括多道工序，每道工序需要在一台给定的机器上非间断地加工一段时间；每台机器一次最多只能加工一道工序，调度就是把工序分配给机器上某个时间段，使加工完成时间最短。,113,Foo S.Y.,和,Y.Takefuji,在,1988,年最早提出用,Hopfield,神经网络求解,JSP,。,8.6.1,作业车间调度问题,对于,单台机器加工问题,，如果有 个作业而每个作业只考虑加工时间以及与操作序列有关的安装时间，则这个问题就和 个城市的,TSP,等价。,Conway,等（,1967,）,，,生产调度理论,：,“,一般作业车间调度问题是一个迷人的挑战性问题。尽管问题本身描述非常容易，但是朝着问题求解的方向作任何的推进都是极端困难的,”,。,114,1.JSP,的换位矩阵表示,0,1,1,1,1,2,2,2,2,1,2,1,2,1,1,1,1,0,0,0,0,1,2,2,0,0,0,0,1,2,2,1,0,0,1,0,0,2,1,2,1,0,0,0,0,2,作业,2,机器,JSP,8.6.2 JSP,的,Hopfield,神经网络及其求解,“,工序,(2,2,1),依赖于另一工序,(1,2,2)”,的命题成立。,(1,2,2),：作业,1,的工序,2,在机器,2,上执行,。,“,工序 不依赖于任何别的工序,”,的命题。,115,8.6.2 JSP,的,Hopfield,神经网络及其求解,作业,机器,JSP,的工序约束条件：,（,1,）各工序应服从,优先顺序,关系。任一工序可以依赖于另一个工序，也可以不依赖于任何工序（如在,0,时刻启动的工序）。,（,2,）所有工序不允许,自依赖,和,互依赖,。,（,3,）允许在,0,时刻启动的工序数不超过 。即在 时，在,0,时刻启动的工序数应为 。,（,4,）在同一时刻启动的同一作业的工序不多于一个。,（,5,）在同一时刻同一机器上启动的工序不多于一个。,116,8.6.2 JSP,的,Hopfield,神经网络及其求解,2.,JSP,计算能量函数,:,与矩阵中 位置相对应的神经元的输出状态。,行约束,全局约束,非对称约束,列约束,117,8.6.2 JSP,的,Hopfield,神经网络及其求解,3.Hopfield,神经网络的参数,连续型,Hopfield,神经网络的计算能量函数,:,神经元 与神经元 之间的连接权,神经元 的偏置电流,:,118,8.6.2 JSP,的,Hopfield,神经网络及其求解,4.Hopfield,神经网络的运动方程,119,8.6.2 JSP,的,Hopfield,神经网络及其求解,5.,成本树,step1,：根据换位矩阵，构造成本树。,step2,：计算成本树上各操作 的开始时间 和结束,时间 。,step3,：判断是否出现死锁调度。,step4,：调整死锁调度。,120,8.6.2 JSP,的,Hopfield,神经网络及其求解,6.,甘特图,step1,：根据换位矩阵，计算成本树上各操作的开始时间和结束时间，并给出相应的甘特图。,step2,：判断甘特图中每台机器上各作业的开始时间是否发生重叠。,step 3,：判断同一作业的各操作的开始时间是否发生重叠。,step4,：重复,step2,和,step3,，直至甘特图中同一机器上各作业的开始时间和同一作业的各操作的开始时间都不发生重叠为止。,121,8.6.3,作业车间生产调度举例,2,作业,3,机器的,JSP,例子,所有的操作：,111,，,122,，,133,，,213,，,221,，,232,。,122,8.6.3,作业车间生产调度举例,换位矩阵,Hopfield,神经网络：,6,行,7,列的神经元阵列,123,8.6.3,作业车间生产调度举例,神经网络偏置电流矩阵,124,8.6.3,作业车间生产调度举例,计算能量函数为,0,的换位矩阵,125,8.6.3,作业车间生产调度举例,成本树,返回,126,8.6.3,作业车间生产调度举例,甘特图,返回,127,基本思想：,在系统寻优过程中，利用神经元状态更新的随机性，允许向较差方向搜索，以跳出局部极小。经多次寻查后，最终使系统稳定于能量最低状态，使神经网络收敛到计算能量函数的最小值,0,，从而使神经网络输出是一个可行调度解。,8.6.4,基于随机神经网络的生产调度方法,128,根据改进,Metropolis,方法，求解,JSP,的基于模拟退火的神经网络算法：,（,1,）,初始化,：,设置初始温度 ，合适的输入偏置电流，凝结温度 ，温度下降速率 ，在每个温度点的循环处理次数 。,8.6.4,基于随机神经网络的生产调度方法,（,2,）,随机爬山,：,对每个神经元 ，由求解网络方程计算输出电压。由网络稳定状态集组成成本树；求出最大成本变化量 。,129,8.6.4,基于随机神经网络的生产调度方法,若 ，则转去（,3,）；否则计算能量变化量,若 ，则令,否则，令,计算概率,130,第,8,章 人工神经网络及其应用,8.1,神经元与神经网络,8.2 BP,神经网络及其学习算法,8.3 BP,神经网络的应用,8.4 Hopfield,神经网络及其改进,8.5 Hopfield,神经网络的应用,8.6 Hopfield,神经网络优化方法求解,JSP,8.7,卷积神经网络,及其应用,131,131,8.7,卷积,神经网络,卷积神经网络（,Convolutional Neural Networks,，,CNN,）,1962,年,Hubel,和,Wiesel,通过对猫视觉皮层细胞的研究，提出了,感受野,(receptive field),的概念。,视觉皮层的神经元就是局部接受信息的，只受某些特定区域刺激的响应,，而,不是对全局图像进行感知。,1984,年日本学者,Fukushima,基于感受野概念提出,神经认知机,(neocognitron),。,CNN,可看作是神经认知机的推广形式。,132,8.7.1,卷积神经网络的结构,卷积神经网络的结构,概念示范,：输入图像通过与,m,个可训练的滤波器和可加偏置进行卷积，在,C1,层产生,m,个特征映射图，然后特征映射图中每组的,n,个像素再求和，加权值，加偏置，通过,Sigmoid,函数得到,m,个,S2,层的特征映射图。这些映射图再进过滤波得到,C3,层。这个层级结构再和,S2,一样产生,S4,。最终，这些像素值被光栅化，并连接成一个向量输入到传统神经网络，得到输出。,CNN,是一个,多层的神经网络,，每层由多个二维平面组成，而每个平面由多个独立神经元组成。,C,层为特征提取层（卷积层）,S,层是特征映射层,（下采样层）,。,CNN,中,的,每一个,C,层都紧跟着一个,S,层,。,132,133,133,8.7.1,卷积神经网络的结构,特征提取层（卷积层）,C,层（,C,onvolution layer,）,左图展示了一个,3*3,的卷积核在,5,*,5,的图像上做卷积的过程。,卷积实际上提供了一个权重模板。,卷积运算是一种用邻域点按一定权重去重新定义该点值的运算。,对图像用一个卷积核进行卷积运算，实际上是一个滤波的过程。每个卷积核都是一种特征提取方式，就像是一个筛子，将图像中符合条件的部分筛选出来。,134,134,8.7.1,卷积神经网络的结构,特征提取层（卷积层）,C,层（,C,onvolution layer,）,大部分的特征提取都依赖于卷积运算,利用卷积算子对图像进行滤波，可以得到显著的边缘特征。,135,135,8.7.1,卷积神经网络的结构,特征映射层（下采样层）,S,层（,S,ubsampling layer,）,卷积层的作用是探测上一层特征的局部连接，然而,下采样层的作用是在语义上把相似的特征合并起来,。,136,136,8.7.1,卷积神经网络的结构,特征映射层（下采样层）,S,层（,S,ubsampling layer,）,下采样层降低了每个特征图的空间分辨率。,137,137,8.7.1,卷积神经网络的结构,特征映射层（下采样层）,S,层（,S,ubsampling layer,）,CNN,中的每一个特征提取层（,C,）都紧跟着一个用来求局部平均与二次提取的计算层（,S,）。这种特有的两次特征提取结构能够容许识别过程中输入样本有较严重的畸变。,138,138,8.7.1,卷积神经网络的结构,卷积过程,：用一个可训练的滤波器,f,x,去卷积一个输入的图像（第一阶段是输入的图像，后面的阶段就是,Feature Map,了），然后加一个偏置,b,x,，得到卷积层,C,x,。,下采样过程,：邻域,n,个像素通过池化（,pooling,）步骤变为一个像素，然后通过标量,W,x+1,加权，再增加偏置,b,x+1,，然后通过一个,sigmoid,激活函数，产生一个大概缩小,n,倍的特征映射图,S,x+1,。,139,139,8.7.1,卷积神经网络的结构,卷积后,下采样后,140,8.7.1,卷积神经网络的结构,卷积神经网络的结构,概念示范,：输入图像通过与,m,个可训练的滤波器和可加偏置进行卷积，在,C1,层产生,m,个特征映射图，然后特征映射图中每组的,n,个像素再进行求和，加权值，加偏置，通过一个,Sigmoid,函数得到,m,个,S2,层的特征映射图。这些映射图再进过滤波得到,C3,层。这个层级结构再和,S2,一样产生,S4,。最终，这些像素值被光栅化，并连接成一个向量输入到传统的神经网络，得到输出。,CNN,是一个,多层的神经网络,，每层由多个二维平面组成，而每个平面由多个独立神经元组成。,C,层为特征提取层（卷积层）,S,层是特征映射层,（下采样层）,。,CNN,中,的,每一个,C,层都紧跟着一个,S,层,。,140,141,141,8.7.1,卷积神经网络的结构,卷积神经网络的,4,个关键技术,：,局部连接（,8.7.2,）,权值共享（,8.7.3,）,多卷积核（,8.7.4,）,池化（,8.7.5,）,142,142,8.7.2,卷积神经网络的,局部连接,视觉皮层中,每个神经元不是对全局图像进行感知，而,只对局部进行感知，然后在更高层将局部的信息综合起来得到全局信息,。,143,143,8.7.3,卷积神经网络的,权值共享,隐含层的每一个神经元如果只和,10 x10,个像素连接，也就是说每一个神经元存在,10 x10=100,个连接权值参数。如果将每个神经元的参数设置成相同，,那么，,不管隐层的神经元个数有多少，两层间的连接都只有,100,个参数，这就是卷积神经网络的,权值共享,。,144,144,8.7.3,卷积神经网络的,权值共享,局部连接,：每个神经元无需对全局图像进行感知，而只需对局部进行感知，然后在更高层将局部的信息综合起来得到全局信息。,权值共享,：每个神经元参数设为相同，即权值共享，也即每个神经元用同一个卷积核去卷积图像。,减少参数的方法：,145,145,8.7.4,卷积神经网络的,多卷积核,下图中不同的颜色表示不同的卷积核，每个卷积核都会将图像生成为另一幅特征映射图（即：,一个卷积核提取一种特征,）。,为了使特征提取更充分，我们可以添加,多个卷积核,（滤波器）以提取不同的特征。,每层隐层神经元的个数按卷积核的数量翻倍。,每层隐层参数个数仅与特征区域大小、卷积核的多少有关。,例如：隐含层的每个神经元都连接,10 x10,像素图像区域，同时有,100,种卷积核（滤波器）。则参数总个数为：（,10 x10,+1,）,x100=10100,个,146,146,8.7.5,卷积神经网络的,池化,计算图像一个区域上的某个特定特征的平均值,(,或最大值,),，这种聚合操作就叫做,池化,(pooling),，有时采用平均池化或者最大池化方法。,这些概要统计特征不仅具有,低得多的维度,(,相比使用所有提取得到的特征,),，同时还会改善结果,(,不容易过拟合,),。,147,147,8.7.6,卷积神经网络的,实现与应用,目前,CNN,架构有,10-20,层采用,ReLU,激活函数,、上百万个权值以及几十亿个连接。,硬件、软件以及算法并行的进步，使得训练时间大大压缩。,CNN,容易在,芯片或者现场可编程门阵列,（,FPGA,）中实现，许多公司,如,NVIDA,、,Mobileye,、,Intel,、,Qualcomm,以及,Samsung,，都在,开发,CNN,芯片，以使智能机、相机、机器人以及自动驾驶汽车中的,实时视觉系统,成为可能。,20,世纪,90,年代末，这个系统用于美国超过,10%,的,支票阅读,上。,21,世纪开始，,CNN,就被成功的大量用于检测、分割、物体识别以及图像的各个领域。近年来，卷积神经网络的一个重大成功应用是,人脸识别,。,图像可以在像素级进行打标签，可以应用在,自动电话接听机器人、汽车自动驾驶,等技术中。,CNN,用于,自然语言的理解,以及,语音识别,中。,148,148,8.7.7 CNN,在手写数字识别中的应用,一种典型的用来识别数字的卷积网络是,LeNet-5,。美国大多数银行当年用它识别支票上面的手写数字，达到了商用地步，说明该算法具有很高的准确性。,149,149,8.7.7 CNN,在手写数字识别中的应用,LeNet-5,是一个数字手写系统，不包含输入层，共有,7,层，每层都包含可训练参数（连接权重）。输入图像为,32*32,大小。,150,150,8.7,卷积神经网络,隐式,地从训练数据中进行学习，避免了显式的特征抽取；,同一特征映射面上的神经元共享权值，网络可以并行学习，,降低了网络学习的复杂性,；,采用时间或者空间的下采样结构，可以获得某种程度的,位移、尺度、形变的鲁棒性,；,输入信息和网络拓扑结构能很好地吻合，在,语音识别,和,图像处理,方面有着独特优势。,CNN,的优点：,151,151,8.7,卷积神经网络,CNN,的结构参数，无论是卷积层、下采样层还是分类层，都有太多的,随意性或试凑性,，且,不能保证拓扑结构参数收敛,。,重点放在由细尺度特征到大尺度特征的层层提取，只有前馈,没有反馈,。已有的认知不能帮助当前视觉感知和认知，没有体现选择性注意。,要求,海量训练样本,，,样本的均等性,没有反映认知的积累性。,CNN,的缺点：,152,THE END,153,THE END,