深度学习与卷积神经网络基础理论与实例分析.ppt

目目 录录010102020303概述概述与与背景背景人脑人脑视觉视觉机理机理与与特征表示特征表示卷积神经卷积神经网络网络0404TensorFlow的的相关介绍相关介绍1.概述与背景1.1 1.1 人工智能人工智能、机器学习、深度、机器学习、深度学习、数据挖掘之间学习、数据挖掘之间的关系的关系人工智能机器学习深度学习数据挖掘1.概述与背景1.2 1.2 神经网络神经网络兴衰史兴衰史第一次兴起（第一次兴起（19581958年）：年）：感知机，由于没有引入非线性，不能求解异或问题。第二次兴起（第二次兴起（19861986年）：年）：将BP(Back Propagation)神经网络的提出。第三次兴起（第三次兴起（20122012年）：年）：深度学习的兴起，一直到现在。发展基础：发展基础：数据爆炸：数据爆炸：图像数据、文本数据、语音数据、社交网络数据、科学计算等计算性能大幅提高计算性能大幅提高目目 录录020201010303人脑视觉机理人脑视觉机理与特征表示与特征表示概述与背景概述与背景卷积神经卷积神经网络网络0404TensorFlow的的相关介绍相关介绍2.人脑视觉机理与特征表示2.12.1 人脑人脑视觉视觉机理机理-大大脑神经脑神经元的信号元的信号传输传输神经元神经元树突输入神经元接收信号隐含层输入神经元激活轴突发出信号隐含层输出人工神经网络人工神经网络大脑神经元信号传输的模拟2.人脑视觉机理与特征表示2.12.1 人脑视觉机理人脑视觉机理-大脑识别物体过程大脑识别物体过程从原始信号摄入开始（瞳孔摄入像素Pixels）；接着做初步处理（大脑皮层某些细胞发现边缘和方向）；然后抽象（大脑判定，眼前的物体的形状）；然后进一步抽象（大脑进一步判定该物体）。Low-level sensingPreprocessingFeatureextractionFeatureselectionInference:prediction,recognition2.人脑视觉机理与特征表示2.2 特征表示手工地选取特征是一件非常费力、启发式（需要专业知识）的方法，而且它的调节需要大量的时间。既然手工选取特征不太好，那么能不能自动地学习一些特征？学习出特征能否很好的表征目标？2.人脑视觉机理与特征表示2.2 特征表示在不同在不同对象上做象上做训练时，所得的所得的边缘基底基底 是非常是非常相似的，但相似的，但对象部分和模象部分和模型型 就会完全不同了。就会完全不同了。初级（浅层）特征表示结构性特征抽象层面越高，存在的可能猜测就越少，就越利于分类特征表示也可以分层2.人脑视觉机理与特征表示 神经元的模型 分层处理信息 特征的分层表达训训练练:during the training phase,a neural network is fed thousands of labeled images of various animals,learning to classify them 输输入入:An unlabeled image is shown to the pre-trained networkFirst Layer:the neurons respond to different simple shapes,like edgesHigh Layer:the neurons respond to more complex structuresTop Layer:the neurons respond to highly complex,abstract concepts that we would identify as different animals输输出出:Thenetworkpredictswhattheobject most likely is,based on itstraining2.人脑视觉机理与特征表示2.3浅层学习和深度学习深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型深度模型”是手段，是手段，“特征学习特征学习”是目的是目的。区别于传统的浅层学习，深度学习的不同在于：1）强调了模型结构的深度，通常有5层、6层，甚至几十层的隐层节点；2）明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。这种分层结构，是比较接近人类大脑的结构的。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。目目 录录030302020101概述概述与与背景背景人脑人脑视觉视觉机理机理与与特征表示特征表示卷积神经卷积神经网络网络0404TensorFlow的的相关介绍相关介绍3.卷积神经网络-CNNLeCun1998年，LeCun提出LeNet，并成功应用于美国手写数字识别。测试误差小于1%。麻雀虽小，但五脏俱全，卷积层、pooling层、全连接层，这些都是现代CNN网络的基本组件。卷积层-convolution池化层-pooling全连接层fullyconnected3.1 初探-LeNet框架3.卷积神经网络-CNN3.1 初探-完整的CNN输入层卷积层+ReLU池化层卷积层+ReLU池化层全连接层全连接层输出层n把图片分入四个类别：狗，猫，船，鸟n当获得一张船图作为输入的时候，网络正确的给船的分类赋予了最高的概率(0.94)。输出层的各个概率相加应为1.n卷积神经网络主要执行了四个操作：n卷积n非线性(ReLU)n池化或下采样n分类（全连接层）3.卷积神经网络-CNNCNN的应用也很广泛，其中包括图像分类，目标检测，目标识别，目标跟踪，文本检测和识别以及位置估计等。3.1 初探-CNN结构演变3.卷积神经网络-CNN如上图是LeNet-5，它的第一个卷积层含有6的feature map，每一个feature map对应一个卷积核，也就对应提取了图像的一种特征。这里注意最终的feature map并不是做完卷积后的结果，然后还要加一个非线性激活的操作，一般用ReLU函数，这个过程一般叫做detector stage。3.2 基本单元-卷积层3.卷积神经网络-CNN3.2 基本单元-卷积层n深度(Depth)深度就是卷积操作中用到的滤波器个数。这里对图片用了两个不同的滤波器，从而产生了两个特征映射。你可以认为这两个特征映射也是堆叠的2d矩阵，所以这里特征映射的“深度”就是2。n步幅(Stride)步幅是每次滑过的像素数。当Stride=2的时候每次就会滑过2个像素。步幅越大，特征映射越小。n补零(Zero-padding)边缘补零，对图像矩阵的边缘像素也施加滤波器。补零的好处是让我们可以控制特征映射的尺寸。补零也叫宽卷积，不补零就叫窄卷积。3.卷积神经网络-CNN3.2 基本单元-非线性（激励层）nSigmoidn梯度消失问题n激活函数一般用于卷积层和全连接层之后n激活函数是深度网络非线性的主要来源nReLUn解决梯度消失问题n收敛速度非常快n神经元死亡问题3.卷积神经网络-CNN3.2 基本单元-池化层n空间池化，也叫亚采样或下采样降低了每个特征映射的维度，但是保留了最重要的信息。n空间池化可以有很多种形式：最大(Max)，平均(Average)，求和(Sum)等等。最大池化成效最好。n池化层的功能减少网络中的参数计算数量，从而遏制过拟合增强网络对输入图像中的小变形、扭曲、平移的鲁棒性(输入里的微小扭曲不会改变池化输出因为我们在局部邻域已经取了最大值/平均值)。帮助我们获得不因尺寸而改变的等效图片表征。这非常有用，因为这样我们就可以探测到图片里的物体，不论那个物体在哪。3.卷积神经网络-CNN3.2 基本单元-全连接层n使用softmax激励函数作为输出层。n全连接表示上一层的每一个神经元，都和下一层的每一个神经元是相互连接的。n卷积层和池化层的输出代表了输入图像的高级特征，全连接层的目的就是利用这些特征进行分类。3.卷积神经网络-CNN3.3 前向传播与反向传播n卷积+池化=特征提取器n全连接层=分类器前向传播反向传播3.卷积神经网络-CNN3.3 前向传播与反向传播几个人站成一排，第一个人看一幅画（输入数据），描述给第二个人（隐层）依此类推，到最后一个人（输出）的时候，画出来的画肯定不能看了（误差较大）。反向传播就是，把画拿给最后一个人看（求取误差），然后最后一个人就会告诉前面的人下次描述时需要注意哪里（权值修正）。梯度下降法。3.卷积神经网络-CNN3.4 反向传播训练nStep 1:用随机数初始化所有的滤波器和参数/权重nStep 2:网络将训练图片作为输入，执行前向步骤（卷积，ReLU，池化以及全连接层的前向传播）并计算每个类别的对应输出概率。n假设船图的输出概率是0.2,0.4,0.1,0.3n因为第一个训练样本的权重都是随机的，所以这个输出概率也跟随机的差不多nStep 3:计算输出层的总误差n总误差=1/2 (目标概率输出概率)2nStep 4:反向传播算法计算误差相对于所有权重的梯度，并用梯度下降法更新所有的滤波器/权重和参数的值，以使输出误差最小化。n其中wj是要更新的权重，称为学习率，Etotal是总的误差n权重的调整程度与其对总误差的贡献成正比。n如滤波器个数、滤波器尺寸、网络架构这些参数，是在Step 1之前就已经固定的，且不会在训练过程中改变只有滤波矩阵和神经元权重会更新。目目 录录040402020303概述概述与与背景背景人脑人脑视觉视觉机理机理与与特征表示特征表示卷积神经卷积神经网络网络0101TensorFlow的的相关介绍相关介绍4.TensorFlow的相关介绍4.1 深度学习框架TensorFlow具有最高的关注度和评分。Caffe在目标识别和目标分割领域应用最广主流框架基本都支持Python4.TensorFlow的相关介绍4.1 深度学习框架库名学习材料丰富程度CNN建模能力RNN建模能力易用程度运行速度多GPU支持程度TensorFlowCaffeCNTKMXNetTorchTheanoNeon4.TensorFlow的相关介绍4.2 TensorFlow的安装step1.系统要求：Linux（Ubuntu14.04/16.04），Windows；step2.GPU驱动：在Linux系统最容易出现问题的地方；step3.CUDA：NVIDIA推出的通用并行计算架构（cuDNN）；step4.安装Python、依赖库和TensorFlow：sudopipinstalltensorflow-gpu。4.TensorFlow的相关介绍4.3 TensorFlow基础TensorFlow的特点：将计算流程表示成图；通过Sessions来执行图计算；将数据表示为tensors；分别使用feeds和fetches来填充数据和抓取任意的操作结果；4.TensorFlow的相关介绍数据流图是描述有向图中的数值计算过程。有向图中的节点通常代表数学运算，但也可以表示数据的输入、输出和读写等操作；有向图中的边表示节点之间的某种联系，它负责传输多维数据(Tensors)。图中这些tensors的flow也就是TensorFlow的命名来源。一个Tensor是一个多维数组，例如，你可以将一批图像表示为一个四维的数组batch,height,width,channels，数组中的值均为浮点数。(第一维列，第二维行第一维列，第二维行)4.3 TensorFlow基础-数据流图例如：计算a=(b+c)(c+2)，我们可以将算式拆分成一下：d和e是不相关的，也就是可以并行计算。4.TensorFlow的相关介绍4.4 TensorFlow的基础语法1.定义数据：2.定义运算(也称TensorFlowoperation)：Tensorflow可以自动进行数据类型检测，比如：赋值2.0就默认为tf.float323.定义初始化operation用Tensorflow计算a=(b+c)(c+2)4.TensorFlow的相关介绍用Tensorflow计算a=(b+c)(c+2)4.4 TensorFlow的基础语法4.执行图5.站位符(placeholder)对上面例子的改进：使变量b可以接收任意值。TensorFlow中接收值的方式为占位符(placeholder)，通过tf.placeholder()创建。需要在运行过程中feed占位符b的值，具体为将a_out=sess.run(a)改为：4.TensorFlow的相关介绍4.5 TensorFlow-mnist识别实例模型图当使用tensorflow进行数据流图构建时，大致可以分为以下几个部分：1、加载数据2、为输入X与输出y定义placeholder；3、定义权重W；4、定义模型结构；5、定义损失函数；6、定义优化算法。4.TensorFlow的相关介绍4.5 TensorFlow-mnist识别实例1、加载数据one_hot=True表示对label进行one-hot编码，比如标签4可以表示为0,0,0,0,1,0,0,0,0,0。这是神经网络输出层要求的格式。2、定义参数和placeholderNone,784中的None表示任意值，特别对应tensor数目4.TensorFlow的相关介绍4.5 TensorFlow-mnist识别实例3、定义参数w和b4、构造隐层网络在这里，要了解全连接层的两个参数w和b都是需要随机初始化的，tf.random_normal()生成正态分布的随机数。上面代码对应于公式：4.TensorFlow的相关介绍4.5 TensorFlow-mnist识别实例5、构造输出（预测值）6、定义损失函数7、定义优化算法4.TensorFlow的相关介绍4.5 TensorFlow-mnist识别实例8、定义初始化operation和准确率node9、开始训练谢谢