浅谈深度学习.ppt

浅谈深度学习（浅谈深度学习（D Deepeep L Learningearning）1 制作者：刘红敬 专 业：计算机技术 主要内容主要内容 20062006年以来，机器学习领域中一个叫年以来，机器学习领域中一个叫“深度学习深度学习”的的课题开始受到学术界广泛关注，如今拥有大数据的互联网课题开始受到学术界广泛关注，如今拥有大数据的互联网公司争相投入大量资源研发深度学习技术。公司争相投入大量资源研发深度学习技术。一一、机器学习机器学习 二、为什么有二、为什么有 D Deep learningeep learning？Why?Why?三、三、什么是什么是 D Deep learningeep learning？What?What?四、四、怎么来的？怎么来的？五、五、Deep learningDeep learning与神经网络的异同与神经网络的异同2一、机器学习一、机器学习 机器学习（机器学习（Machine LearningMachine Learning）是一门专门研究计算机怎是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的学科。组织已有的知识结构使之不断改善自身的性能的学科。简单的说，机器学习就是通过算法，使得机器能从大量的简单的说，机器学习就是通过算法，使得机器能从大量的历史数据中学习规律，从而对新的样本做智能识别或预测未来。历史数据中学习规律，从而对新的样本做智能识别或预测未来。19591959年美国的年美国的塞缪尔塞缪尔(Samuel)(Samuel)设计了一个下棋程序，这个设计了一个下棋程序，这个程序具有学习能力，它可以在不断的对弈中改善自己的棋艺。程序具有学习能力，它可以在不断的对弈中改善自己的棋艺。4 4年后，这个程序战胜了设计者本人。又过了年后，这个程序战胜了设计者本人。又过了3 3年，这个程序战胜年，这个程序战胜了美国一个保持了美国一个保持8 8年之久的常胜不败的冠军。这个程序向人们展年之久的常胜不败的冠军。这个程序向人们展示了示了机器学习的能力，机器学习的能力，提出了许多令人深思的社会问题与哲学提出了许多令人深思的社会问题与哲学问题。问题。这种程序水平达到一定程度很容易，但再进一步就不容易了。这种程序水平达到一定程度很容易，但再进一步就不容易了。深蓝深蓝是是9090年代机器学习理论有了突破之后才出来的。年代机器学习理论有了突破之后才出来的。3二、二、Why?Why?机器学习虽然发展了几十年，但还是存在很多没有良好解决的机器学习虽然发展了几十年，但还是存在很多没有良好解决的问题。例如以问题。例如以视觉感知视觉感知为例，通过为例，通过机器学习机器学习去解决这些问题的去解决这些问题的思路：思路：Input Input Feature RepresentationFeature Representation Learning Learning Algorithm Algorithm 手工选取特征不太好，那么能不能自动地学习一些特征呢？手工选取特征不太好，那么能不能自动地学习一些特征呢？答案是能！答案是能！Deep LearningDeep Learning就是用来干这个事情的，它有一个别就是用来干这个事情的，它有一个别名名Unsupervised Feature LearningUnsupervised Feature Learning。WhyWhy？答案：让机器自动学习良好的特征，而免去人工选取过程。答案：让机器自动学习良好的特征，而免去人工选取过程。4三、三、WhatWhat？深深度度学学习习是是机机器器学学习习研研究究中中的的一一个个新新的的领领域域，其其动动机机在在于于建建立立、模模拟拟人人脑脑进进行行分分析析学学习习的的神神经经网网络络，它它模模仿仿人人脑脑的机制来解释数据，例如图像，声音和文本。的机制来解释数据，例如图像，声音和文本。深度学习是无监督学习的一种。深度学习是无监督学习的一种。深度学习的概念深度学习的概念源于源于人工神经网络的研究。含多隐层的人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。的分布式特征表示。5四、怎么来的？四、怎么来的？从机器学习的模型结构层次来分，机器学习经历了两次浪潮：从机器学习的模型结构层次来分，机器学习经历了两次浪潮：1 1、浅层学习（、浅层学习（Shallow LearningShallow Learning）：机器学习第一次浪潮）：机器学习第一次浪潮2 2、深度学习（、深度学习（Deep LearningDeep Learning）：机器学习第二次浪潮）：机器学习第二次浪潮6 1 1、浅层学习、浅层学习 2020世世纪纪8080年年代代末末期期，由由于于人人工工神神经经网网络络的的反反向向传传播播算算法法（BPBP算算法法）的的发发明明，给给机机器器学学习习带带来来了了希希望望，掀掀起起了了基基于统计模型的机器学习于统计模型的机器学习热潮。这个热潮一直持续到今天。热潮。这个热潮一直持续到今天。基基于于统统计计的的机机器器学学习习方方法法可可以以让让一一个个人人工工神神经经网网络络模模型型从从大大量量训训练练样样本本中中学学习习统统计计规规律律，从从而而对对未未知知事事件件做做预预测。测。这这个个时时候候的的人人工工神神经经网网络络，虽虽也也被被称称作作多多层层感感知知机机（Multi-layer Multi-layer PerceptronPerceptron），但但实实际际是是一一种种只只含含有有一一层层隐层节点的浅层模型隐层节点的浅层模型。71 1、浅层学习、浅层学习 2020世世纪纪9090年年代代，各各种种各各样样的的浅浅层层机机器器学学习习模模型型相相继继被被提提出出，例例如如支支撑撑向向量量机机（SVMSVM）、BoostingBoosting、最最大大熵熵方方法法（LRLR）等。）等。这这些些模模型型的的结结构构基基本本上上可可以以看看成成带带有有一一层层隐隐层层节节点点（如如SVMSVM、BoostingBoosting），或或没没有有隐隐层层节节点点（如如LRLR）。这这些些模型无论是在理论分析还是应用中都获得了巨大的成功。模型无论是在理论分析还是应用中都获得了巨大的成功。相相比比之之下下，由由于于理理论论分分析析的的难难度度大大，训训练练方方法法又又需需要要很很多多经经验验和和技技巧巧，这这个个时时期期深深度度人人工工神神经经网网络络反反而而相相对对沉沉寂。寂。82 2、深度学习、深度学习 20062006年年，加加拿拿大大多多伦伦多多大大学学教教授授、机机器器学学习习领领域域的的泰泰斗斗Geoffrey Geoffrey HintonHinton等等在在ScienceScience上上发发表表了了一一篇篇文文章章11，开启了深度学习在学术界和工业界的浪潮。，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点：这篇文章有两个主要观点：1 1）多多隐隐层层的的人人工工神神经经网网络络具具有有优优异异的的特特征征学学习习能能力力，学学习习得得到到的的特特征征对对数数据据有有更更本本质质的的刻刻画画，从从而而有有利利于于可可视视化化或或分类分类。2 2）深深度度神神经经网网络络在在训训练练上上的的难难度度，可可以以通通过过“逐逐层层初初始始化化”来来有有效效克克服服，在在这这篇篇文文章章中中，逐逐层层初初始始化化是是通通过过无无监监督督学习实现的。学习实现的。11Hinton,Geoffrey;Osindero,Simon;Welling,Max;Teh,Yee-Whye.UnsupervisedDiscovery of Nonlinear Structure Using Contrastive Backpropagation.Science.2006(30)4:725-732.9当当前前多多数数分分类类、回回归归等等学学习习方方法法为为浅浅层层结结构构算算法法，其其局局限限性性在在于于有有限限样样本本和和计计算算单单元元情情况况下下对对复复杂杂函函数数的的表表示示能力有限，针对复杂分类问题其泛化能力受到一定制约。能力有限，针对复杂分类问题其泛化能力受到一定制约。深深度度学学习习可可通通过过学学习习一一种种深深层层非非线线性性网网络络结结构构，实实现现复复杂杂函函数数逼逼近近，表表征征输输入入数数据据分分布布式式表表示示，并并展展现现了了强强大大的的从从少少数数样样本本中中集集中中学学习习数数据据集集本本质质特特征征的的能能力力。（多多层的好处是可以用较少的参数表示复杂的函数）层的好处是可以用较少的参数表示复杂的函数）102 2、深度学习、深度学习 深深度度学学习习的的实实质质，是是通通过过构构建建具具有有很很多多隐隐层层的的机机器器学学习习模模型型和和海海量量的的训训练练数数据据，来来学学习习更更有有用用的的特特征征，从从而而最最终终提提升升分分类类或或预预测测的的准准确确性性。因因此此，“深深度度模模型型”是是手手段段，“特征学习特征学习”是目的。是目的。区别于传统的浅层学习，深度学习的不同在于：区别于传统的浅层学习，深度学习的不同在于：1 1）强强调调了了模模型型结结构构的的深深度度，通通常常有有5 5层层、6 6层层，甚甚至至1010多多层层的隐层节点；的隐层节点；2 2）明明确确突突出出了了特特征征学学习习的的重重要要性性，也也就就是是说说，通通过过逐逐层层特特征征变变换换，将将样样本本在在原原空空间间的的特特征征表表示示变变换换到到一一个个新新特特征征空空间间，从从而而使使分分类类或或预预测测更更加加容容易易。利利用用大大数数据据来来学学习习特特征征，更能够刻画数据的丰富内在信息。更能够刻画数据的丰富内在信息。113 3、浅层学习与深度学习的不同、浅层学习与深度学习的不同四、深度学习与神经网络的异同四、深度学习与神经网络的异同 深度学习深度学习与与传统的神经网络传统的神经网络之间有相同的地方也有很之间有相同的地方也有很多不同。多不同。相同点相同点：深度学习深度学习采用了神经网络相似的分层结构，系采用了神经网络相似的分层结构，系统由包括统由包括输入层、隐层（多层）、输出层输入层、隐层（多层）、输出层组成的多层网络，组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个逻辑回归模型；这种分互无连接，每一层可以看作是一个逻辑回归模型；这种分层结构，是比较接近人类大脑的结构的。层结构，是比较接近人类大脑的结构的。12 不同点不同点：采用了：采用了不同的训练机制不同的训练机制。传传统统神神经经网网络络中中，采采用用的的是是反反向向传传播播（BPBP）的的方方式式进进行行。即即采采用用迭迭代代的的算算法法来来训训练练整整个个网网络络，随随机机设设定定初初值值，计计算算当当前前网网络络的的输输出出，然然后后根根据据当当前前计计算算的的输输出出值值和和实实际际的的标标记记值值之之间间的的差差去去改改变变前前面面各各层层的的参参数数，直直到到收收敛敛（整整体是一个梯度下降法）。体是一个梯度下降法）。BP BP算法不适合深度神经网络：算法不适合深度神经网络：如果对所有层同时训练，如果对所有层同时训练，时间复杂度会太高；如果每次训练一层，偏差就会逐层传时间复杂度会太高；如果每次训练一层，偏差就会逐层传递，出现过拟合递，出现过拟合。深度学习深度学习整体上是一个逐层整体上是一个逐层的训练机制。的训练机制。13深度学习的训练过程深度学习的训练过程1 1）自下而上的非监督学习自下而上的非监督学习:从底层开始，一层一层的往顶层从底层开始，一层一层的往顶层训练，分别得到各层参数。训练，分别得到各层参数。采用无标签数据分层训练各层参数（可以看作是采用无标签数据分层训练各层参数（可以看作是feature feature learninglearning过程）过程）2 2）自上而下的监督学习自上而下的监督学习：通过带标签的数据去训练，误差通过带标签的数据去训练，误差自上向下传输，对网络进行微调。自上向下传输，对网络进行微调。基于第一步得到的各层参数进一步调整整个多层模型的基于第一步得到的各层参数进一步调整整个多层模型的参数，这一步是一个有监督训练过程参数，这一步是一个有监督训练过程Thank you！15