深度学习和增强学习概述2018PPT课件.pptx

交流内容交流内容Part1 机器学习的基本概念机器学习的基本概念Part2 深度学习的概念、由来及历史深度学习的概念、由来及历史Part3 基本的深度学习模型及其应用基本的深度学习模型及其应用Part4 强化学习的概念及应用强化学习的概念及应用2021数据：人类文明进步的基石数据：人类文明进步的基石获取数据获取数据分析分析数据数据构建模型构建模型预测未来预测未来人类使用数据的一般流程人类使用数据的一般流程天文学的起源和发展历程，清晰表明数据在人类发展过程中所产生的巨大作用天文学的起源和发展历程，清晰表明数据在人类发展过程中所产生的巨大作用尼罗河畔的文明（古埃及人）尼罗河畔的文明（古埃及人）洪水退去后留下肥沃的土地观察天象，预测洪水到来和退去时间及其大小，开创天文学根据天狼星和太阳同时出现的位置，判定农耕时间和节气推测出：365*4+1=1461天，作为一个周期美索不达米亚文明（苏美尔人）美索不达米亚文明（苏美尔人）观察发现月亮每隔28-29天，完成从新月到满月再回到新月的周期同时，观察到每年有四季之分，每过12-13个月亮周期，太阳就回到原来位置发明了太阴历古代历法，本质上是对天文现象的一个数据化描述22021数据：人类文明进步的基石数据：人类文明进步的基石开普勒关于行星运动的三大定律，形式简单，描述准确但他并不理解其内涵100多年的观测数据托勒密用40-60个小园套大圆的方法，精确计算出了所有行星运动的轨迹牛顿第二定律和万有引力定律把行星运动归结成一个纯粹的数学问题，即一个常微分方程组。牛顿运用的是寻求基本原理的方法，远比开普勒的方法深刻。知其然，且知其所以然。y=-k x32021机器学习的定位和定义机器学习的定位和定义n经典定义：利用经验经验 来改善计算机系统的性能性能A computer program is said to learn from experience E with respect tosome class of tasks T andperformance measure P,ititsperformanceattasksinTasmeasuredbyP,improveswithexperience.T.Mitchell(CMU)n经验：在计算机系统中，即为数据（集）数据（集）n主要目标：预测未知、理解系统机器学习是人工智能的一个重要分支，是实现智能化的关键机器学习是人工智能的一个重要分支，是实现智能化的关键通常解决一些人为设计和使用确定性程序很难解决的问题；提高对机器学习的认识，将提高我们自身对智能背后原理的理解。因此受到极大关注。42021从机器学习角度看人工智能的发展历史从机器学习角度看人工智能的发展历史19561974198019931987AI诞生诞生STAGE1：推理期：推理期LogicInferenceSTAGE2：知识期：知识期KnowledgeEngineeringSTAGE3：学习期：学习期MachineLearning技技术术进进步步应应用用突突破破第一次寒冬第一次寒冬对AI发展丧失信心，研究经费大大减少第二次寒冬第二次寒冬缺少AI的实际应用，研究经费大大减少出现了第一个机器人出现了第一个机器人和智能软件和智能软件专家系统的研发专家系统的研发神经网络的突破神经网络的突破大大数据数据深度学习、强深度学习、强化学习化学习1957年提出Perceptron1970年代初结构化的学习系统基于逻辑的推理系统1986年BP算法多层神经网络1995年AdaBoost算法SVM算法2006年深度神经网络（DNN）2013年DNN在图像和声音识别取得突破统计学习统计学习(传统机器学习传统机器学习)1961年第一台工业机器人Unimation，在通用电气公司应用1973年世界第一个人形机器人Wabot-1，诞生于早稻田大学1980年专家系统XCON，由CMU研发，并用于DEC公司1997年IBM的DeepBlue战胜国际象棋大师加里卡斯帕罗夫2006年智能可编程类人机器人NAO面世Apple：SiriGoogle：无人驾驶车，AlphaGoIBM：Waston大量日常的AI机器人出现52021机器学习的应用：帮助奥巴马赢得竞选机器学习的应用：帮助奥巴马赢得竞选2008年美国总统大选n奥巴马竞选团队的数据分析师构建一个庞大的数据分析系统，将民意调查员、筹款人、现场工作人员、消费者数据库、社交媒体、移动通信用户与摇摆州的民主党选民档案合并在一起，帮助奥巴马筹集了10亿美元的选举资金n构建摇摆州的选民画像，分析选民意图，预测哪些类型的选民会被某种类型的政策因素所说服n实时监控选民的意向改变情况，调整选举模拟模型n对选举电视广告进行精确投放They are our nuclear codes!62021机器学习的应用：自动驾驶机器学习的应用：自动驾驶nDARPAGrandchallenge2005:搭建一个能在10个小时内，自主航行并穿越175英里沙漠地区的机器人n获胜者：Stanford的“Stanley”赛车实际所用时间为6小时54分钟。力压卡内基梅隆的两辆改装悍马形成目前无人驾驶行业完整产业链的“原点“。随后自动驾驶算法、激光雷达、高精地图、芯片提供解决方案的初创公司纷纷涌现。72021机器学习的应用：产品推荐机器学习的应用：产品推荐nNetflixPrize:根据用户的行为偏好，预测用户对某部影片的评分n数据集:480,189名不同的用户对17,770部电影给出的100,480,507个打分结果（1-5分）n奖金:基于Netflix的Cinematch系统，获得10%的效果提升就能赢得1百万美元http:/82021机器学习的应用：信用分析和评估机器学习的应用：信用分析和评估n数据：n抽取规则：92021机器学习的应用机器学习的应用n市场零售：市场购物篮分析、客户关系管理n金融领域：信用评级（评分）、欺诈检测n制造领域：问题优化、智能诊断n医疗领域：疾病诊断、治疗路径选择n通讯领域：服务质量的优化、路由选择n生物信息领域：基因测序、对齐n102021机器学习的主要任务机器学习的主要任务n112021机器学习的主要任务机器学习的主要任务n监督学习：从有标记的训练数据中推断预测函数。即，给定数据，预测标签n分类、回归n无监督学习：从无标记的数据中推断结论。即，给定数据，寻找隐藏结构n聚类、异常检测n增强学习：如何在给定环境中采取行动以便获得回大化回报。即，给定条件，学习选择一系列行动，最大化长期收益n棋牌类游戏122021机器学习的基本框架机器学习的基本框架收集、预处理数据CollectingData模型（Model）未知数据UnknownData预测(Prediction)学习Learning应用Applicationn数据类型n结构化数据：通常以关系表表示和存储n非结构化数据：图像、声音、视频、文本n数据使用：训练集、验证集、测试集n模型的选择n模型的优化（参数）n模型的评估132021机器学习中的若干概念机器学习中的若干概念n数据集（DataSet）n假设空间（HypotheticalSpace）n所有可能的能满足样本输入和输出的假设函数h(x)的集合n学习的模型是从一个限定的假设空间里进行选取，而不是凭空选择的n归纳偏好（InductiveBias）n根据训练数据，从假设空间中选出最佳的一个假设n奥卡姆剃刀原理、没有免费的午餐定理例：用三个特征描述西瓜（色泽、根蒂、声响），基于这3个特征获得10万条记录，其中一条取值：色泽=光亮、根蒂=坚硬、声响=清亮记录到.csv文件或者数据库中，可以得到一个二维数组，行数为10万（记录），列数为3（特征）例：假设以上三个西瓜特征，每个特征有三种可能取值，那么该假设空间的大小为4*4*4+1=65（其中，4=3+1，表示不考虑该特征的情形）142021机器学习中的若干概念机器学习中的若干概念n152021机器学习中的若干概念机器学习中的若干概念n泛化能力（GeneralizationAbility）n机器学习模型对未知数据的预测能力n欠拟合：模型复杂度太低，使得模型能表达的泛化能力不够，对测试样本和训练样本都没有很好的预测性能n过拟合：模型复杂度太高，使得模型对训练样本有很好的预测性能，但是对测试样本的预测性能很差n误差、偏差和方差n误差反映整个模型的准确度n偏差反映模型在样本上的输出和真实值的误差n方差反映模型每一次输出结果与模型输出期望之间的误差新叶训练样本新样本过拟合过拟合模型分类结果：不是树叶（误以为树叶必须有锯齿）欠拟合欠拟合模型分类结果：是树叶（误以为绿色的都是树叶）162021机器学习中的机器学习中的三三大流派大流派n符号主义（Symbolists）n认知即计算，通过对符号的演绎和逆演绎进行结果预测n代表算法：逆演绎算法（Inversededuction）n代表应用：知识图谱n联结主义（Connectionist）n对大脑进行仿真n代表算法：反向传播算法（Backpropagation）、深度学习（Deeplearning）n代表应用：机器视觉、语音识别n行为主义（Analogizer）n新旧知识间的相似性n代表算法：核机器（Kernelmachines）、近邻算法（NearestNeightor）n代表应用：Netflix推荐系统172021AI技术技术Venn图图例：知识库人工智能机器学习表示学习深度学习例：逻辑回归例：浅层自动编码器例：多层感知机182021交流内容交流内容Part1 机器学习的基本概念机器学习的基本概念Part2 深度学习的概念、由来及历史深度学习的概念、由来及历史Part3 基本的深度学习模型及其应用基本的深度学习模型及其应用Part4 强化学习的概念及应用强化学习的概念及应用Part5 深度深度学习的未来思考学习的未来思考2021联结主义（神经网络）的发展历程联结主义（神经网络）的发展历程202021McCulloch-Pitts神经元神经元模型模型（M-P模型，模型，1943）n美国心理学家McCulloch和数学家Pitts，提出的模拟人类神经元网络进行信息处理的数学模型n神经元的特点：多输入单输出；突触(传递神经冲动的地方)兼有兴奋和抑制两种性能；能时间加权和空间加权；可产生脉冲；脉冲进行传递；非线性n简单的线性加权的方式来模拟这个过程，其中I为输入，W为权重，加权的和经过一个阈值函数后作为输出。沃伦麦卡洛克(1898-1969)瓦尔特皮茨(1923-1969)212021Hebb假设（假设（1949）在1949年出版的行为的组织中，赫布提出了其神经心理学理论Hebb假设：当细胞A的轴突到细胞B的距离近到足够激励它，且反复地或持续地刺激B，那么在这两个细胞或一个细胞中将会发生某种增长过程或代谢反应，增加A对细胞B的刺激效果唐纳德赫布（1904-1985）222021Rosenblatt感知机（感知机（Perceptron）算法）算法（1958）1958年，第一次将M-P模型用于对输入的多维数据进行二分类，使用梯度下降法从训练样本中自动学习更新权值1962年，该方法被证明最终收敛，理论与实践效果引起第一次神经网络的浪潮FrankRosenblatt(1928-1971)232021XOR问题的质疑（问题的质疑（1969）n1969年，美国数学家及人工智能先驱Minsky和Papert，在其著作中证明了感知器本质上是一种线性模型n无法解决最简单的XOR（亦或）问题，“线性不可分的问题”n宣判了感知器的死刑，神经网络的研究也陷入了10余年的停滞（进入第一个寒冬！）242021MLP和和BP算法的提出（算法的提出（1986-1989）n1986年，Rumelhart，Hilton等人发明了适用于多层感知器（Multi-LayerPerceptron，MLP）和误差反向传播算法（BackPropagation，BP）算法，并采用Sigmoid函数进行非线性映射，有效解决了非线性分类和学习的问题n1989年，RobertHecht-Nielsen证明了MLP的万能逼近定理，即对于任何闭区间内的一个连续函数f，都可以用含有一个隐含层的BP网络来逼近该定理的发现极大的鼓舞了神经网络的研究人员n1989年，LeCun发明了卷积神经网络-LeNet，并将其用于数字识别，且取得了较好的成绩，不过当时并没有引起足够的注意LeNet252021MLP和和BP算法的提出（算法的提出（1989-1997）n在1989年以后由于没有特别突出的方法被提出，且NN一直缺少相应的严格的数学理论支持，神经网络热潮退去n第二次寒冬来自于1991年，BP算法被指出存在梯度消失问题，即在误差梯度后向传递的过程中，后层梯度以乘性方式叠加到前层，由于Sigmoid函数的饱和特性，后层梯度本来就小，误差梯度传到前层时几乎为0，因此无法对前层进行有效的学习，该发现对此时的NN发展雪上加霜n1997年，LSTM模型被发明，尽管该模型在序列建模上的特性非常突出，但由于正处于NN的下坡期，也没有引起足够的重视LSTM262021统计学习占领主流（统计学习占领主流（1986-2006）n1986年，ID3，ID4，CART等改进的决策树方法相继出现，到目前仍然是非常常用的一种机器学习方法。该方法也是符号学习方法的代表n1995年，SVM被统计学家V.Vapnik和C.Cortes发明了SVM提出。该方法的特点有两个：由非常完美的数学理论推导而来（统计学与凸优化等），符合人的直观感受（最大间隔）。不过，最重要的还是该方法在线性分类的问题上取得了当时最好的成绩n1997年，AdaBoost被提出，该方法是PAC（ProbablyApproximatelyCorrect）理论在机器学习实践上的代表，也催生了集成方法这一类。该方法通过一系列的弱分类器集成，达到强分类器的效果。n2000年，KernelSVM被提出，核化的SVM通过一种巧妙的方式将原空间线性不可分的问题，通过Kernel映射成高维空间的线性可分问题，成功解决了非线性分类的问题，且分类效果非常好。至此也更加终结了NN时代。n2001年，随机森林被提出，这是集成方法的另一代表，该方法的理论扎实，比AdaBoost更好的抑制过拟合问题，实际效果也非常不错。n2001年，一种新的统一框架-图模型被提出，该方法试图统一机器学习混乱的方法，如朴素贝叶斯，SVM，隐马尔可夫模型等，为各种学习方法提供一个统一的描述框架272021统计统计学习学习 SVM（1995）nV.Vapnik和C.Cortes两人发明了SVM，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化间隔最大化，最终可转化为一个凸二次规划问题凸二次规划问题的求解。C.CortesV.Vapnik282021统计学习统计学习 SVMn优点：nSVM利用内积核函数代替向高维空间的非线性映射nSVM是一种有坚实理论基础的新颖的小样本学习方法nSVM的最终决策函数只由少数的支持向量所确定,计算的复杂性取决于支持向量的数目,而非样本空间的维数,避免“维数灾难”n少数支持向量决策，简单高效，鲁棒性好292021深度学习深度学习 Deep Neural Network（2006）nG.Hinton等人提出了DeepBeliefNetwork，它是一种生成模型，通过训练其神经元间的权重，使得整个神经网络按照最大概率来生成训练数据。n使用非监督贪婪逐层方法去预训练获得权值n不用靠经验提取数据特征，经过底层网络自动提炼G.Hinton302021深度学习的提出：深度学习的提出：Why Deep？n从实际的需求来看，从实际的需求来看，随着数据采集和计算机能力的增加，积累了大量的数据，而且绝大部分是非结构化（语义不清楚、稀疏）数据。先前的机器学习方法收效甚微312021深度学习的提出：深度学习的提出：Why Deep？n瓶颈瓶颈：特征工程（：特征工程（Feature Engineering），以视觉信息处理为例数据采集数据预处理特征提取特征选择学习和推理n具有不变性n大小不变性n尺度不变性n旋转不变性n光照不变性nn可区分性322021深度学习的提出：深度学习的提出：Why Deep？n从从人人类类的的脑脑结结构构的的角角度度来来看看，人类神经系统就是一个深层次的结构。人的大脑有100多亿个神经细胞，每天能记录生活中大约8600万条信息。据估计，人的一生能凭记忆储存100万亿条信息，并且神经元多种多样，并呈现层次结构n从人类的大脑处理信息的方式来看从人类的大脑处理信息的方式来看，人类对视觉信息的处理是分层次的，不是一步到位的。人类倾向于将一个抽象层次的概念表示为较低层次的概念组合332021Hubel-Wiesel ExperimentnHubel,DavidH.,andTorstenN.Wiesel.Receptivefieldsofsingleneuronesinthecatsstriatecortex.The Journal of physiology 148,no.3(1959):574-591.1981年诺贝尔生理学或医学奖n通过研究猫的视觉皮层感受野，提出的视觉神经系统的层级结构模型，亦称Hubel-Wiesel结构n简单细胞：方向选择性细胞的神经元细胞，当瞳孔发现了眼前的物体的边缘，而且这个边缘指向某个方向时，这种神经元细胞就会活跃n复杂细胞：组合“简单细胞”层中相应的子区域，使得整个感受野对局部变换具有一定的不变性神经-中枢-大脑的工作过程，或许是一个不断迭代、不断抽象的过程，人类的逻辑思维，经常使用高度抽象的概念。342021进一步的实验：稀疏编码进一步的实验：稀疏编码n1996年，Cornell大学的BrunoOlshausen和DavidField在Nature杂志上发表了一篇重要论文指出，自然图像经过稀疏编码后得到的基函数类似于V1区简单细胞感受野的反应特性n从400张碎片中选择尽量少的图片拼接目标图片，发现最终选择的图片，基本上是照片上不同物体的边缘n稀疏编码模型提取的基函数首次成功地模拟了V1区简单细胞感受野的三个响应特性：空间域的局部性、时域和频域的方向性和选择性n考虑到基函数的超完备性（基函数维数大于输出神经元的个数），Olshausen和Field在1997年又提出了一种超完备基的稀疏编码算法，利用基函数和系数的概率密度模型成功地建模了V1区简单细胞感受野。352021实验证明：人脑视觉机理实验证明：人脑视觉机理n人的视觉系统的信息处理是分级的n高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图n抽象层面越高，存在的可能猜测就越少，就越利于分类362021深度学习的提出：深度学习的提出：Why Deep？n从特征表示的角度来看从特征表示的角度来看，特征应该是分层的n一般而言，特征越多，给出信息就越多，识别准确性会得到提升；n但特征多，计算复杂度增加，探索的空间大，可以用来训练的数据在每个特征上就会稀疏。n结论：不一定特征越多越好！需要有多少个特征，需要学习确定。372021深度学习的提出：深度学习的提出：Why Deep？n分层的结构性特征表示382021浅层学习的局限性分析浅层学习的局限性分析n传统的MLP及BP算法n虽被称作多层感知机，但通常只含有一层隐层节点的浅层模型nSVM、Boosting、最大熵方法（如LR，LogisticRegression）：带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LR）的浅层模型n局限性：有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受限392021深度深度学习的概念提出学习的概念提出n2006年，加拿大多伦多大学教授、机器学习领域的泰斗GeoffreyHinton在科学上发表论文提出深度学习主要观点：n多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类n深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wisepre-training）来有效克服，逐层初始化可通过无监督学习实现的402021深度学习的概念深度学习的概念n深度学习：一种基于MLP模型，无监督的、多层次的结构特征表示学习方法n多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类n深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wisepre-training）来有效克服，逐层初始化可通过无监督学习实现的Deep learning allowscomputationalmodelsthatarecomposedofmultipleprocessinglayerstolearnrepresentationsofdatawithmultiplelevelsofabstraction.-YannLeCun,YoshuaBengio&GeoffreyHinton412021深度深度学习概念的分析学习概念的分析n通过构建多隐层的模型和海量训练数据（可为无标签数据），来学习更有用的特征，从而最终提升分类或预测的准确性。“深度模型”是手段，“特征学习”是目的n与浅层学习区别n强调了模型结构的深度，通常有5-10多层或者更多（甚至100层以上）的隐层节点n明确突出了特征学习的重要性，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息n好处：可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示422021深度学习深度学习 vs.传统神经网络传统神经网络传统神经网络：深度学习：432021深度学习深度学习 vs.传统神经网络传统神经网络n相同点：相同点：二者均采用分层结构，系统包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个logistic回归模型n不同点不同点：n传统神经网络：采用BP算法调整参数，即采用迭代算法来训练整个网络。随机设定初值，计算当前网络的输出，然后根据当前输出和样本真实标签之间的差去改变前面各层的参数，直到收敛；n深度学习：采用逐层训练机制。采用该机制的原因在于如果采用BP机制，对于一个deepnetwork（7层以上），残差传播到最前面的层将变得很小，出现所谓的gradientdiffusion（梯度扩散）。442021深度深度学习训练过程学习训练过程 n经典深度学习训练n现代深度学习训练452021经典经典深度深度学习学习训练训练(逐层训练方式逐层训练方式)n第一步：采用自下而上的无监督学习1）逐层构建单层神经元。2）每层采用wake-sleep算法进行调优。每次仅调整一层，逐层调整。这个过程可以看作是一个featurelearning的过程，是和传统神经网络区别最大的部分。462021经典经典深度学习训练深度学习训练nwake-sleep算法:1）wake阶段：认知过程，通过下层的输入特征（Input）和向上的认知（Encoder）权重产生每一层的抽象表示（Code），再通过当前的生成（Decoder）权重产生一个重建信息（Reconstruction），计算输入特征和重建信息残差，使用梯度下降修改层间的下行生成（Decoder）权重。也就是“如果现实跟我想象的不一样，改变我的生成权重使得我想象的东西变得与现实一样”2）sleep阶段：生成过程，通过上层概念（Code）和向下的生成（Decoder）权重，生成下层的状态，再利用认知（Encoder）权重产生一个抽象景象。利用初始上层概念和新建抽象景象的残差，利用梯度下降修改层间向上的认知（Encoder）权重。也就是“如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象在我看来就是这个概念”472021经典深度学习训练经典深度学习训练EncoderDecoderInputImageClasslabelFeaturesEncoderDecoderFeaturesEncoderDecoderAutoEncoder:482021经典深度学习训练经典深度学习训练n第二步：自顶向下的监督学习这一步是在第一步学习获得各层参数进的基础上，在最顶的编码层添加一个分类器（例如罗杰斯特回归、SVM等），而后通过带标签数据的监督学习，利用梯度下降法去微调整个网络参数。深度学习的第一步实质上是一个网络参数初始化过程。区别于传统神经网络初值随机初始化，深度学习模型是通过无监督学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果。492021n自2012年开始，深度学习进入爆发期现代深度学习现代深度学习训练训练标志：AlexNetn由2012年ImageNet竞赛冠军获得者Hinton和他的学生AlexKrizhevsky设计的。也是在那年之后，更多的更深的神经网络被提出，比如优秀的VGGnet,GoogLeNetn它的出现开启了深度学习的研究的浪潮n很多新的理念被提出：比如用GPU训练深度模型，数据增强操作等等502021现代深度学习训练现代深度学习训练1.激活函数由Sigmoid换成ReLU2.好的权重初始化方式.(Xavier/Heinit)3.BatchNormalization4.更先进的优化算法，Adam，AdaGrad,SGD+Momentum5.正则化项：Dropout等等6.数据增强和数据预处理操作目前的深度学习模型不再需要逐层训练方式，可以直接端到端的训练，具体有如下的训练技巧：512021现代深度学习现代深度学习训练训练实现方法n硬件nCPU,GPU,TPU,n软件nPyTorch(动态计算图),TensorFlow(静态计算图),.522021现代深度学习现代深度学习训练训练(硬件硬件)CPU:Central Processing UnitGPU:Graphics Processing Unit（Speed up parallel operation）532021现代深度学习训练现代深度学习训练(软件软件)现代深度学习训练一般都需要用到深度学习框架：1.这里框架是指的就是软件库（API），其中里面实现了一些常用的张量（Tensor）的操作以及实现的一些基本网络层的操作，比如卷积神经网络与循环神经网络2.作一个简单的比喻，一套深度学习框架就是这个品牌的一套积木，各个组件就是某个模型或算法的一部分，你可以自己设计如何使用积木去堆砌符合你数据集的积木比较著名的框架有：TensorFlow（Google维护），PyTorch（Facebook维护）542021框架的重要意义框架的重要意义n对于科研，我们可以快速地实现自己的想法做实验，不必重复造轮子，进而加速各个领域的进展n对于应用，我们可以用框架训练出适合当前任务的模型，并把它部署到产品当中n框架有效地利用GPU，以及相关加速库，加速模型的训练过程552021交流内容交流内容Part1 机器学习的基本概念机器学习的基本概念Part2 深度学习的概念、由来及历史深度学习的概念、由来及历史Part3 基本的深度学习模型及其应用基本的深度学习模型及其应用Part4 强化学习的概念及应用强化学习的概念及应用2021深度学习的变革深度学习的变革n图像分类：ImageNet，1000个类别n2012年AlexNet在ImageNet大赛上一举夺魁，大大提高了图像分类精度，开启了深度学习的时代。572021深度学习的变革深度学习的变革n目标检测：PascalVOC2007，20个类别nRCNN（RegionswithCNNfeatures）是将CNN方法应用到目标检测问题上的一个里程碑，大量基于深度学习的目标检测算法相继被提出。582021深度学习的变革深度学习的变革n文本翻译592021深度学习的变革深度学习的变革n语音识别：10多年没有进展，深度学习应用后大幅度提升了语音识别效果602021卷积神经网络卷积神经网络nLeNet-5是YannLeCun在1998年设计的用于手写数字识别的卷积神经网络，当年美国大多数银行就是用它来识别支票上面的手写数字，是早期卷积神经网络中最有代表性的实验系统之一612021卷积神经网络卷积神经网络字符识别图像检索图像分类人体关键点622021卷积神经网络卷积神经网络n卷积神经网络的主要组成：卷积层、池化层、全连接层、激活函数632021卷积神经网络卷积神经网络n卷积层是卷积神经网络的核心组成卷积层示意图卷积层可视化642021卷积神经网络卷积神经网络n池化层通常紧接着在卷积层之后使用，简化从卷积层输出的信息2x2平均池化2x2最大池化652021卷积神经网络卷积神经网络n激活函数是用来加入非线性因素的，因为线性模型的表达力不够662021卷积神经网络的发展卷积神经网络的发展nAlexNet（2012）nVGGNet（2013）nGoogLeNet（2014）nResNet（2015）nDenseNet（2016）672021AlexNetn成功使用ReLU作为CNN的激活函数；训练时使用Dropout随机忽略一部分神经元，以避免模型过拟合；在CNN中使用重叠的最大池化；提出了LRN层，增强了模型的泛化能力682021VGGNetnVGGNet探索了卷积神经网络的深度与其性能之间的关系，通过反复堆叠3*3的小型卷积核和2*2的最大池化层，VGGNet成功地构筑了19层深的卷积神经网络。692021GoogLeNetnGoogLeNet提出了一种新的网络模块(inceptionmodule)，如图所示，它既能保持网络结构的稀疏性，又能利用密集矩阵的高计算性能。Inception的主要思想是用稠密的模板覆盖卷积神经网络中最优的局部稀疏结构，使之能够近似地表示原来的局部稀疏结构。702021ResNetnResNet(ResidualNeuralNetwork)由微软研究院的KaimingHe等4名华人提出，通过使用ResidualUnit成功训练152层深的神经网络，解决了深层网络信息传递丢失的问题，效果非常突出。712021DenseNetnDenseNet使得网络更窄，参数更少，很大一部分原因得益于下图这种denseblock的设计，既充分利用了feature，加强了feature的传递，避免了feature在网络的不同层冗余出现，又进一步减轻了梯度消失问题。722021循环神经网络循环神经网络n循环神经网络一次处理一个输入序列元素，同时维护网络中隐式单元中包含的过去时刻序列元素的历史信息的“状态向量”，可以对序列信息建模，更加强大，也更加符合人类大脑皮层对信息的处理方式。732021循环神经网络循环神经网络n图像描述：输入图像，输出文字序列742021循环神经网络循环神经网络n情感分类：输入文字序列，输出情感类别752021循环神经网络循环神经网络n机器翻译：输入文字序列，输出文字序列762021循环神经网络循环神经网络n视频帧分类：输入图片序列，输出类别序列772021循环神经网络循环神经网络nLSTM：LongShortTermMemory（长短期记忆网络），由Hochreiter和Schmidhuber15于1997年首次提出，引入“门”的概念，包括输入门、输出门、遗忘门n解决了RNN的梯度消失问题，有能力学习长时间的依赖关系782021循环神经网络循环神经网络n长短期记忆网络LSTM792021自编码器自编码器nAuto-Encoder（AE）n自编码器，80年代晚期出现n主要用于降维，后用于主成分分析802021PCA（主成分分析）（主成分分析）nPrincipalComponentAnalysisn一种能够极大提升无监督特征学习速度的数据降维算法n主要思想是通过线性变换将n维特征映射到k维（kn）全新的正交特征上812021自编码器自编码器输入层输出层隐藏层尽可能接近最小化隐藏层的输出即为编码结果编码解码822021自编码器自编码器输入层输出层隐藏层隐藏层的输出即为编码结果编码解码n稀疏自编码器稀疏限制832021自编码器自编码器n降噪自编码器编码解码添加噪声尽可能接近Vincent,Pascal,etal.Extractingandcomposingrobustfeatureswithdenoisingautoencoders.ICML,2008.842021自编码器自编码器 文本检索文本检索word string:“This is an apple”this isaanapplepen110110Bag-of-word Semantics are not considered.Vector Space Modeldocumentquery852021自编码器自编码器 文本检索文本检索Bag-of-word(documentorquery)queryLSA:projectdocumentsto2latenttopics20005002501252意思相近的文本应该有相似的编码.862021自编码器自编码器 图像检索图像检索32x328192409620481024512256编码872021自编码器自编码器 图像检索图像检索882021交流内容交流内容Part1 机器学习的基本概念机器学习的基本概念Part2 深度学习的概念、由来及历史深度学习的概念、由来及历史Part3 基本的深度学习模型及其应用基本的深度学习模型及其应用Part4 强化学习的概念及应用强化学习的概念及应用2021强化学习（强化学习（Reinforcement Learning）n马尔科夫决策过程（MarkovDecisionProcess）n一个智能体（Agent）和一个环境（Environment）交互n对于一个环境的特定状态（State）n智能体可以做出特定动作（Action）n而这些动作会带来奖励（Reward）n每当智能体做出一个动作，就会进入一个新的状态902021强化学习（强化学习（Reinforcement Learning）n912021Q-Learningn922021Q-Learning迭代算法迭代算法贝尔曼公式：当前状态s和动作a的最大未来奖励=动作a后的立即奖励+下一时刻状态s在所有可能动作下能获得的的最大未来奖励Q-Learning：用贝尔曼公式迭代近似Q函数932021强化学习和深度学习的结合强化学习和深度学习的结合n942021深度强化学习（以深度强化学习（以Atari游戏为例）游戏为例）输入：当前游戏画面（状态s）网络：卷积神经网络（CNN）952021强化学习的应用强化学习的应用n围棋（AlphaGo，DeepMind）Silver,David,JulianSchrittwieser,KarenSimonyan,IoannisAntonoglou,AjaHuang,ArthurGuez,ThomasHubert,etal.“MasteringtheGameofGowithoutHumanKnowledge.”Nature550,no.7676(October2017):35459.https:/doi.org/10.1038/nature24270.962021强化学习的应用强化学习的应用n战略游戏（如星际争霸，DeepMind）Zambaldi,Vinicius,David Raposo,Adam Santoro,Victor Bapst,Yujia Li,Igor Babuschkin,Karl Tuyls,et al.“Relational Deep Reinforcement Learning.”ArXiv:1806.01830 Cs,Stat,June 5,2018.http:/arxiv.org/abs/1806.01830.972021强化学习的应用强化学习的应用n快车调