《深度学习》课件 第3章 人工神经网络与深度学习.pdf

深度学习BIGDATA高级大数据人才培养系列丛书第3章 人工神经网络与深度学习3?人脑神经元模型32M-P模缨34人脑神经网络的互连结构3.5 人工神经网络的学习3.6 人工健经网络的特点37 蝌网络基本才3.8 避学习其它网络结构习题，31探秘大脑的工作原理第3章人工神经网络与深度学习311人类活动抽象与深度学习模型人工神经元的数学模型、互连结构和学习规则（算法）是决定人工神经网络模型 的信息处理性能的3个关键特性。（1）生物神经元的结构与功能生物神经元中的树突接收来自其他神经元的输入，轴突将神经元的输出传递给 其他神经元，神经元之间通过突触互相连接。神经元对不同突触接收的输入信号 进行时空整合，在一定条件下触发产生输出信号。（2）人工神经元模型人工神经元是对生物神经元结构和功能的模拟，一般是一个多输入单输出的非线 性器件其功能是：5每个输入信号进行处理以确定其强度（加权）；确定所有输入信号的组合效果（求和）；确定其输出（激活特性）。，31探秘大脑的工作原理第3章人工神经网络与深度学习311人类活动抽象与深度学习模型(3)人工神经网络的互连结构通过一定的规则将多个神经元连接成网络，才能实现对信息的处理和存储。根据 人工神经网络中各个神经元是否按层次排列，同层神经元之间是否有相互连接，以及人工神经网络中是否存在反馈环路，通常可以将人工神经网络的互连结构分 为无反馈的层内无互连层次结构、有反馈的层内无互连层次结构、无反馈的层内 互连层次结构和有反馈的层内互连层次结构。(4)人工神经网络的学习规则只有具有学习能力，人工神经网络才具有智能特性。人工神经网络的学习过程实 际上就是对网络连接权值的调整过程。常见的人工神经网络学习方式可分为：有 监督学习、无监督学习和强化学习(灌输式学习)。最早提出的人工神经网络学 习规则是Hebb学习规则。纠正学习规则、相关学习规则、随机学习规则、胜者 为王学习规则等也是人工神经网络中常用学习规则。，3.1探秘大脑的工作原理第3章人工神经网络与深度学习习人的活动过程伴随信息传递、知识处理相智能的形成过程，其信息 传输模型如图所示，3.1探秘大脑的工作原理第3章人工神经网络与深度学习(5)深度学习算法习人的活动过程伴随信息传递、知识处理相智能的形成过程，其信息 传输模型如图所示，3.1探秘大脑的工作原理第3章人工神经网络与深度学习(5)深度学习算法深度学 习深度学习的基本模型人的活动过程伴随信息传递、知识处理相智能的形成过程，其信息 传输模型如图所示，31探秘大脑的工作原理第3章人工神经网络与深度学习神经网络没有一个严格的正式定义,其特点有3个方面*它试图模仿大脑的神经兀之间传递，处理信息的模式,特点3.1探秘大脑的工作原理第3章人工神经网络与深度学习深度学习也只要三个步骤：建构网络、设定目标、开始学习。在深度学习的过程中，外部环境以某种形式提供信息（数据）来源，学习将外部 信息（数据）加工为知识，并放入知识库；知识库中存放指导执行部分动作的一 般原则，要兼顾表达能力强，易于推理、易于完善及扩展知识表示等要求；执行 环节利用知识库中的知识完成某种任务，并把完成任务过程中所获得的一些信息 反馈给学习环节，指导进一步学习。，31探秘大脑的工作原理第3章人工神经网络与深度学习3.1.2人脑神经元的结构神经元的基本结构包括细胞体和突起两部分。细胞体包括细胞核、细胞质、细胞 膜。细胞膜内外电位差称为膜电位。神经元的突起一般包括数条短而呈树状分支 的树突和一条长而分支少的轴突。长的突起外表大都套有一层鞘，组成神经纤维,神经纤维末端的细小分支叫作神经末梢。神经纤维集结成束，外面包有膜，构成 一条神经。3.1探秘大脑的工作原理第3章人工神经网络与深度学习生物神经元在结构上由四部分组成:细胞体(Cell body)、树突(DendHte)、轴突(Axon)、突触(Synapse)用来完成神经元折信息的接收、传速和处理。树突是树状的神经纤维接收网络，是细胞的输入端，它将电信号传 送到细胞体，细胞体对这些输入信号进行整合并进行阈值处理。轴突是单根长纤维，它把细胞体的输出信号导向其他神经元,是细胞的输出端。一个神经细胞的轴突和另一个神经细胞树突的结合点称为突触,它是一个细胞的输出(轴突)与另一个细胞的输入(树突)的 接口。)31探秘大脑的工作原理第3章人工神经网络与深度学习3.1.3人脑神经元功能 在生物神经元中，树突作为输入端，轴突作为输出端，突触作为输出 和输入的接口，细胞体成为一个微型信息处理器，能接收来自其他神 经元的信号，进行组合后，通过膜电位的作用产生输出信号，并沿轴 突传递至其他神经元。细胞的输出端 树突：细胞的输入端 突触：轴突与树突的接口。)31探秘大脑的工作原理第3章人工神经网络与深度学习树突神经递质 突触后细胞大脑神经细胞的工作流程)31探秘大脑的工作原理第3章人工神经网络与深度学习U U U U-生物神经元的信息处理流程)3探秘大脑的工作原理第3章人工神经网络与深度学习时空整合功能兴奋与抑制状态脉冲与电位转换生物神经元本身是一个多输入 单输出的非线性信息处理单元,生物神经元作为控制和信息处 理基本单元具有一些重要的功 能特性。功能特性神经纤维传导速率突触延时和不应期学习、遗忘和疲劳3.1探秘大脑的工作原理第3章人工神经网络与深度学习3.1.4人脑视觉机理1.视觉形成的过程视觉信息通过视细胞、双极细胞、水平细胞和神经节细胞，并经视神经以“串行”的信息模式传递至外侧膝状体进行解码成“点阵”形式再由视放射传送到初级视 皮质不同功能区，最后向高级区域的相应分工区域传递，在不同皮质区整合以产 生对视觉信息的完整认知。2.视觉的中枢通路与皮层定位人的视觉系统的信息处理是分级的。如图所示。从低级1区提取边缘特征，再到2 区的形状或者目标的部分等，再到更高层，整个目标、目标的行为等。也就是说 高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能 表现语义或者意图。而抽象层面越高，存在的可能猜测就越少，就越利于分类。噌xfiWBF-AA1 不力爵S视觉的分层处理结构高级大数据人才培养系列丛书第3章 人工神经网络与深度学习3.1 探秘大脑的工作原理3.2 人脑神经元模型32M-P模缨34人脑神经网络的互连结构3.5 人工神经网络的学习3.6 人工健经网络的特点37 蝌网络基本才3.8 避学习其它网络结构习题)3.2人脑神经元模型第3章人工神经网络与深度学习3.2.1人脑神经元模型人工神经元模型有以下三个基本要素。(1)连接加权(2)求和单元(3)激活函数连接权输出 hw.b神经元的数学模型）3.2人脑神经元模型第3章人工神经网络与深度学习y y3.2.2激活函数常用激活函数主要有：线性函数、an 非线性函数（sigmoid型函数）、bD 概率型函数。(c)隹LUC y0(e)si gmDi dn 1(d)口 口高级大数据人才培养系列丛书第3章 人工神经网络与深度学习3.1 探秘大脑的工作原理3.2 人脑神经元模型3.3 M-P模型34人脑神经网络的互连结构3.5 人工神经网络的学习3.6 人工健经网络的特点37 蝌网络基本才3.8深度学习其它网络结构习题3.3 MP模型第3章人工神经网络与深度学习M-P模型3.3.1 标准M-P模型M-P模型是一个非常简单的人工神经网络模型，并且在它被提出时，也并没有给 出相应的学习算法来调整神经元之间的连接全值，因此不具备学习能力。但是，在实际应用中可以根据需要采用一些常用的学习算法来调整神经元之间的连接权 值，使其具备学习能力。3.3.2 改进的M-P模型标准M-P模型，没有考虑到神经元的突触延迟特性和突触传递的不应期以及生 物神经元的时间整合特性，考虑到上述3个特性，改进的M-P模型为：每个神经元都是一个多输入单输出的信息处理单元；神经元输入分兴奋性输入和抑制性输入两种类型；神经元具有空间整合特性和阈值特性；神经元输入与输出间有固定的时滞，主要取决于突触延搁；忽略时间整合作用和不应期；神经元本身是非时变的，即其突触时延和突触强度均为常数。高级大数据人才培养系列丛书第3章 人工神经网络与深度学习3.1 探秘大脑的工作原理3.2 人脑神经元模型3.3 M-P模型3.4 人脑神经网络的互连结构3.5 人工神经网络的学习3.6 人工健经网络的特点37 蝌网络基本才3.8深度学习其它网络结构习题)3.4人脑神经网络的互连结构第3章人工神经网络与深度学习3.4.1 前馈神经网络前馈神经网络(feedforward neural network),简称前馈网络，是人 工神经网络的一种。在此种神经网络中，各神经元从输入层开始，接 收前一级输入，并输入到下一级，直至输出层。整个网络中无反馈，可用一个有向无环图表示输入层隐含层输出层特点：输入节点无计算功能，只是为了表征输入 矢量各元素值；以后各层节点表示具有计算功能 的神经元，称为计算单元。)3.4人脑神经网络的互连结构第3章人工神经网络与深度学习3.4.2 反馈网络在反馈网络中(Feedback NNs)，输入信号决定反馈系统的初始状态,系统经过一系列状态转以后，逐渐收敛于平衡状态，这一状态就是反 馈网络经计算后输出的结果。输入层输出层高级大数据人才培养系列丛书第3章 人工神经网络与深度学习3.1 探秘大脑的工作原理3.2 人脑神经元模型313M-P模型3.4 人脑神经网络的互连结构3.5 人工神经网络的学习3.6 人工神经网络的特点3.7 年网络基本才3.8深度学习其它网络结构习题3.5人工神经网络的学习第3章人工神经网络与深度学习3.5.1神经网络的学习方式人工神经网络的工作过程主要分为两个阶段：第一阶段是学习期，对它进行训练,即让其学会它要做的事情，此时各个计算单元状态不变，学习过程就是各连接权 上的权值不断调整的过程。学习结束，网络连接权值调整完毕，学习的知识就分 布记忆（存储）在网络中的各个连接权上。第二阶段是工作期，此时各个连接权 值固定，计算单元变化，以达到某种稳定状态。下面举例说明第一阶段学习期连 接权调整过程。，3.5人工神经网络的学习一第3章人工神经网络与深度学习，3.5人工神经网络的学习第3章人工神经网络与深度学习神经网络的学习算法一般可分为有监督、无监督和强化学习3类。1.有监督的学习有监督学习（有导师）算法要求同时给出输入和正确的输出，即事先已经能够确定 的一个模型。2.无监督学习无监督学习（无导师）算法只需给出一组输入，网络能够逐渐演变到对输入的某种 模式做出特定的反应，也即事先不给定标准样本，直接将网络“置于”环境之中，学习（训练）阶段与应用（工作）阶段成为一体3.强化学习强化学习（reinforcementlearning）介于上述两种情况之间，外部环境只给出评价（奖励或惩罚）而不是给出正确答案，学习系统通过强化那些受奖励的动作来改善 自身的性能。强化学习算法并不是训练于一个固定的数据集上，它会和环境进行交 互，所以学习系统和它的训练过程会有反馈回路，有监督的学习第3章人工神经网络与深度学习无监督学习第3章人工神经网络与深度学习强化学习第3章人工神经网络与深度学习输出动作学习系统卜评价 环境-输入状态3.5人工神经网络的学习第3章人工神经网络与深度学习3.5.2 神经网络的学习规则自联想器模式联想器首先重复提供一系列的模式样本，并使 网络记住这些样本，然后给网络提供学 习样本的部分信息，或提供与原来样本 类似的样本信息，其目的是要“找出”原来的样本。7学习）卜规则1给网络提供一系列的成对样本，网络 学习可以记住样本对之间的对应关系,当提供样本对中的某一样本时，应能 生成样本对中的另一样本。模式分类器正则探测器把要输入的刺激样本划分到一个固 定的聚类集合中，其学习的目的是 能正确对输入的刺激进行分类，在 使用时输入的刺激少许变形时，仍 能将其划分到正确的类别中。系统要通过学习找到这些大量输入的统 计显著特征，与模式分类不同这里没有 预先划分的模式聚类，系统必须找到输 出模式的显著特征，以形成相应的聚类 关系。，3.5人工神经网络的学习第3章人工神经网络与深度学习3.5.3 人工神经网络算法基本要求对于一个神经网络的学习算法，可以提出下列几项最基本的要求。2.自适应性3.收敛性与收敛速度4.必须规定是有监督的学习还是无监督的（自组织）学习5.可推广性高级大数据人才培养系列丛书第3章 人工神经网络与深度学习3.1 探秘大脑的工作原理3?人脑神经元模型3.3 M-P模型34人脑神经网络的互连结构3.5 人工神经网络的学习3.6 人工神经网络的特点3.7 押经网络基本概目功熊3.8深度学习其它网络结构习题3.6人工神经网络的特点第3章人工神经网络与深度学习1神经网络模型用于模拟人脑神经元的活动过程，其中包括对信息的加工、处理、存储、和搜索等过程。人工神经网络具有如下基本特点：(1)、高度的并行性(2)、高度的非线性全局作用(3)、联想记忆功能和良好的容错性(4)、良好的自适应、自学习功能(5)、知识的分布存储(6)、非凸性2.人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。因此,它在功能上具有某些智能特点：(1)、联想记忆(2)、分类与识别(3)、优化计算(4)、非线性映射高级大数据人才培养系列丛书第3章 人工神经网络与深度学习3.1探秘大脑的工作原理3?人脑神经元模型3.3 M-P模型34人脑神经网络的互连结构3.5 人工神经网络的学习3.6 人工神经网络的特点3.7 神经网络基本概念与功能3.8深度学习其它网络结构习题)3.7神经网络基本概念与功能第3章人工神经网络与深度学习神经网络由许多相互关联的概念化的人造神经元组成，它们之间传递相互数据,并且具有根据网络“经验”调整的相关权重。神经元具有激活阈值，如果通过 其相关权重的组合和传递给他们的数据满足这个阈值的话，其将被激活；发射 神经元的组合导致“学习”。，3.7神经网络基本概念与功能第3章人工神经网络与深度学习3.7.1几个基本概念1.一组处理单元2.激活3.输出函数4.互连模式5.传播规则6.激活规则7.学习规则8.系统工作环境9.正向传播(Forward Propagation)10.成本函数(Cost Function)11.梯度下降(Gradient Descent)12.学习率(Learning Rate)13.反向传播(Backpropagation)14.丢弃(Dropout)15.数据增强(Data Augmentation)，3.7神经网络基本概念与功能第3章人工神经网络与深度学习3.7.2基本功能 1.非线性映射功能2 知识获取与表示3.联想记忆4.识别、聚类和分类（class市er）5,优化计算（优化决策）3.7.3感知机的局限性.1.单层感知机模型仅对线性可分问题具有分类能力。多层感知 机模型只允许调节一层连接权值。2.感知机模型采用阈值型函数作为激活函数，最终只有0/1或-1/1这样离散的输出，限制了感知机模型的分类能力。，3.7神经网络基本概念与功能第3章人工神经网络与深度学习 u an(b)(c)(d),高级大数据人才培养系列丛书第3章 人工神经网络与深度学习3.1 探秘大脑的工作原理3?人脑神经元模型32M-P模缨34人脑神经网络的互连结构3.5 人工神经网络的学习3.6 人工健经网络的特点3.7 神经网络基本概念与功能3.8深度学习其它网络结构习题，38深度学习其它网络结构第3章人工神经网络与深度学习3.8.1深度学习的定义及特点深度学习算法是一类基于生物学对人脑进一步认识，将神经-中枢-人脑的工作原理设计成一个不断迭代、不断抽象的过程，以便得 到最优数据特征表示的机器学习算法；该算法从原始信号开始，先做低层抽象，然后逐渐向高层抽象迭代，由此组成深度学习算 法的基本框架。一般来说，深度学习算法具有如下特点：（1）使用链式结构非线性变换对数据进行多层抽象。（2）以寻求更适合待解决的问题概念表示方法为目标。（3）形成一类具有代表性的特征表示学习方法。3.8深度学习其它网络结构第3章人工神经网络与深度学习深度学习的优点（1）概念提取可以由简单到复杂。深层是指神经网络包含很多隐含层。（2）每一层中非线性处理单元的构成方式取决于要解决的问题；每一层中学习 模式也可按需求灵活调整为有监督或者无监督学习，有利于调整学习策略，从而 提高效率（3）学习无标签数据优势明显。深度学习的局限性1.缺乏理论支持2.缺乏推理能力3缺乏短时记T乙能力4：多层需馈网络局限性表现在神经网络由于强大的表示能力，经常遭遇过拟合5.缺乏执行无监督学习的能力38深度学习其它网络结构第3章人工神经网络与深度学习3.8.2卷积神经网络卷积网络，也叫做卷积神经网络(CNN),是一种专门用来处理具有类 似网格结构的数据的神经网络。卷积运算通过三个重要的思想来帮助改进机器学习系统:稀疏交互(sparseinteractions)参数共享(parametersharing)等变表示(equivariant representations)。，38深度学习其它网络结构第3章人工神经网络与深度学习3.8.2卷积神经网络一个典型卷积神经网络层的组件,有两组常用的术语用于描述这些 层。图3 23（左）在这组术语中,卷积网络被视为少量相对复杂的 层，每层具有许多“级”。在这 组术语中，核张量与网络层之间 存在一一对应关系。图3-23（右）在这组术语中，卷积网络被视为 更多数量的简单层；每一个处理 步骤都被认为是一个独立的层。这意味着不是每一“层”都有参 数。在本书中，我们通常使用这 组术语。一个典型卷积神经网络层的组件示意图，38深度学习其它网络结构第3章人工神经网络与深度学习3.8.2卷积神经网络一DenseNet的基本结构示意图DenseNet是一种具有密集连 接的卷积神经网络。在该网络 中，任何两层之间都有直接的 连接，也就是说，网络每一层 的输入都是前面所有层输出的 并集，而该层所学习的特征图 也会被直接传给其后面所有层 作为输入38深度学习其它网络结构第3章人工神经网络与深度学习3.8.2循环(递归)神经网络循环神经网络18(Recurrent Neural Networks,RNNs)与典型的前馈 神经网络的最大区别在于网络中存在环形结构，隐藏层内部的神经元是 互相连接的，可以存储网络的内部状态，其中包含序列输入的历史信息，实现了对时序动态行为的描述。图3-26所示为RNN示意图。Output LayerHidden Layer工”T)一+1)Input LayerX习题：1.目前类脑智能的发展面临哪三大瓶颈？何谓人工智能研究的两个方向？试述生 物神经元的结构特征和功能特性。2.在人工神经元的形式化描述中，是如何体现生物神经元的信息处理特性的？3.试述常见的人工神经元模型采用的转移函数的区别。4.如图3-5所示，假设神经元k的四个输入分别为-1,-6,4,5,对应的权值分别 为1.4 z-0.4 z-0.8,0.2o如果采用非线性分段函数、阶跃函数、符号函数和 sigmoid函数作为转移函数，试求神经元k的输出（函数参数可自行确定）。5.假设一个人工神经网络采用无反馈的层内无互连层次结构，其中：输入层包含8 个节点，输出层包含2个节点，2个隐含层分别包含3个和2个节点，各层节点之间 采用全连接方式。请给出该神经网络的拓扑结构图。6.假设一个人工神经网络采用有反馈的互连非层次结构，其中包含6个节点，节 点之间采用全连接方式。请给出该神经网络的拓扑结构图。7.人工神经网络的学习方式中，无监督的学习方式和有监督的学习方式的区别是 什么？试举例说明。8.试举例说明人工神经网络的学习过程。常用的人工神经网络学习规则有哪些？习题：9.请设计一个神经网络来实现异或逻辑，并用邻接矩阵表示。10.何谓线性可分？简述感知机的局限性。11.简述神经网络的发展趋势及复杂神经网络的训练过程。12.你是如何理解深度学习的？13.何谓卷积神经网络？请简述你对池化技术的理解。14.何谓循环神经网络？15.深度学习的典型网络各自适合哪些场景的应用？16.请简述神经网络、深度学习、机器学习和人工智能之间的关系。17.简述卷积助力机器学习的思想。