《深度学习》课件 第10章 深度学习前沿发展.pdf

DATA声管孑工常出线起丸&*C MOUSC a tltSNMn Q0VST酊全国高校标准教材云计算姊妹篇，剖析深度学习核心技术和实战应用第十章深度学习前沿发展10.1增强学习10上迁移定习10.3 记忆网络10.4深度学习的硬件实现习题G）io.i增强学习第十章深度学习前沿发展1.增强学习的基本概念根据经典的教科书上的定义，Reinforcement Learning is learning what to do-how to map situations to actions,so as to maximize a numerical reward signal.cite David Suttero即增强学习关注于智能体（智能体）做什么,如何从当前的状态中找至厢应的动作，从而得到更好的奖赏。增强学习的学习目标，就是Reward,即奖赏。增强学习就是基于奖赏假设。所有的学习目标都可以归结为得到累计的最大奖赏。G）io.i增强学习第十章深度学习前沿发展2.增强学习的过程增强学习是一种试错（trial-and-error）的学习方式，从不断尝试的经验中发现一 个好的policy,从而在这个过程中获取更多的reward。在学习过程中，会有一个在 Exploration（探索）和Exploitation（利用）之间的权衡。Exploration（探索）会放弃一些已知的re ward信息，而去尝试一些新的选 择即在某种状态下，算法也许已经学习到选择什么action让reward比较大，但 是并不能每次都做出同样的选择,也许另外一个没有尝试过的选择会让reward更大,即Exploration希望能够探索更多关于environment的信息。Exploitation（利用）指根据已知的信息最大化reward。G)io.i增强学习第十章深度学习前沿发展3,增强学习的应用智能机器人Ata r游戏围棋无人驾驶O O全国高校标准教材云计算姊妹篇，剖析深度学习核心技术和实战应用第十章深度学习前沿发展10.1增强学习10.2迁移学习10.3 记忆网络10.4深度学习的硬件实现习题10.2迁移学习第十章深度学习前沿发展1.迁移学习的定义迁移学习涉及到域和任务的概念。一个域D由一个特征空间X和特征空间上的 边际概率分布P(X)组成，其中X=o对于有很多词袋表征(bag-of-words representation)的文档分类,X是所有文档表征的空间，是第i个单词的二进制 特征，X是一个特定的文档。给定一个域D=X,P(X),一个任务T由一个标签空间y以及一个条件概率分布P(Y|X)构成，这个条件概率分布通常是从由特征一标签对X,Y组成的训练数据 中学习得到。在文档分类中，丫是所有标签的集合(即真(True)或假(False),要么为真，要么为假。给定一个源域,一个对应的源任务,还有目标域，以及目标任务，迁移学习的目标 就是：在H,声的情况下，在具备来源于Ds和Ts的信息时，学习得到目标域Dt 中的条件概率分布P(Yt|Xt)。绝大多数情况下，假设可以获得的有标签的目标样 本是有限的，有标签的目标样本远少于源样本。由于域D和任务T都被定义为元组(tuple),所以这些不平衡就会带来四个迁移 学习的场景。10.2迁移学习第十章深度学习前沿发展2,迁移学习的分类按照迁移学习的数据域与任务的分类，有4种分类方式。给定源域和目标域Ds和Dt,其中，D=X,P(X),并且给定源任务和目标任 务Ts和Tt,其中T=Y,P(Y|X)。源和目标的情况可以以四种方式变化。(1)XSNXT。源域和目标域的特征空间不同，例如，文档是用两种不同的语言写 的。在自然语言处理的背景下，这通常被称为跨语言适应(cross-lingual adaptation)o(2)P(Xs)/P(Xt)o源域和目标域的边缘概率分布不同，例如，两个文档有着不同 的主题。这个情景通常被称为域适应(domain adaptation)o(3)YS/YTO两个任务的标签空间不同，例如，在目标任务中，文档需要被分配 不同的标签。实际上，这种场景通常发生在场景4中,因为不同的任务拥有不同的 标签空间，但是拥有相同的条件概率分布，这种情况非常少见。(4)P(Ys|Xs)HP(Yt|Xt)。源任务和目标任务的条件概率分布不同，例如，源 和目标文档在类别上是不均衡的。这种场景在实际中是比较常见的，诸如过采样、欠采等情况。10.2迁移学习第十章深度学习前沿发展3,迁移学习的应用场景从模拟中学习域适应跨语言迁移知 识深度学习的 fine-tuning从模拟中学习并 将学到的知识应 用在现实世界。例如自动驾驶汽 车。域适应在视觉中 是一个常规的需 求。另一个常见 的域适应场景涉 及到适应不同的 文本类型。将知识从一种语 言延移到另一种 语言。以zer。-shot学习方法进 行翻译为例，此 方法在该域取得 了快速的进步。迁移学习在深度 学习中的fine-tuning,即微调。微调的意思是稍 微调整一下。全国高校标准教材云计算姊妹篇，剖析深度学习核心技术和实战应用第十章深度学习前沿发展10.1增强学习 10.2迁移学习10.3 记忆网络10.4深度学习的硬件实现习题 10.3记忆网络第十章深度学习前沿发展1.循环神经网络人类在思考问题的时候，并不是每次都是从头开始，而是常常建立在某个基础之 上开始的。循环神经网络也具有这样的特点。由于在网络中具有循环结构，其能够 持续保存输入的信息。这种链状的性质表明，循环神经网络与序列密切相关。这是 处理这种数据所使用的神经网络的自然结构。10.3记忆网络第十章深度学习前沿发展2.长期依赖关系问题RNNs的特点是将前期信息与当前任务连接，例如，使用前面的视频帧可能得 出对当前帧的理解。如果相关信息与预测位置的间隔很大。随着这种间隔的拉长,RNNs就会无法学习 连接信息。10.3记忆网络第十章深度学习前沿发展3.长短期记忆网络长短期记忆网络(Long Short-Term Memory z LSTM)是一种特殊的RNN,能够学习长期依赖关系。它们由Hochreiter和Schmidhuber(1997)提出，在后 期工作中又由许多人进行了改进，LSTMs明确设计成能够避免长期依赖关系问题。记住信息很长一段时间几乎是它们固有的行为，而不是去学习得到的。10.3记忆网络第十章深度学习前沿发展4.长短期记忆变体一种流行的LSTM变种，由Gers和Schmidhuber2000)提出，加入了 窥视 孔连接(peepholeconnections)。这意味着门限层也将单元状态作为输入。另 一个变种就是使用耦合遗忘和输入门限。再一种变种是门限递归单元或GRU,由 Cho等人(2014)提出ft=(7(WrCt-i,ht-it+bf)it=(y(Wi-Ct-i1ht-i)xt+bi)0,=也一+bo)所有门限中都加入窥视孔全国高校标准教材云计算姊妹篇，剖析深度学习核心技术和实战应用第十章深度学习前沿发展10.1增强学习迁移学习10.3 记忆网络10.4深度学习的硬件实现习题 10.4深度学习的硬件实现第十章深度学习前沿发展1.FPGAFPGA（可编辑门阵列，Field Programmable Gate Array）基本原理是在芯 片内集成大量的数字基本门电路以及存储器，用户可以通过烧写FPGA配置文件来来 定义这些门电路以及存储器之间的连线。用3.1 FPGA异构系统福明 10.4深度学习的硬件实现第十章深度学习前沿发展2,ASIC这一基准着重衡量的是基本计算的硬件性能，旨在找到使计算变慢或低效的瓶颈,以及设计一个对于深层神经网络训练的基本操作执行效果最佳的架构。（1）矩阵相乘（Matrix Multiplication）：几乎所有的深度学习模型都包含这一运算，它的计算卜分密集：（2）卷积（Convolution）：这是另一个常用的运算，占用了模型中大部分的每秒浮 点运算（浮点/秒）：（3）循环层（Recurrent Layers）：模型中的反馈层，并且基本上是前两个运算的 组合；（4）All Reduce：这是一个在优化前对学习到的参数进行传递或解析的运算序列。在跨硬件分布的深度学习网络上执行同步优化时（如AlphaGo的例子），这一操作尤其 有效。10.4深度学习的硬件实现第十章深度学习前沿发展3.TPUTPU(Tensor Processing Unit,张量处理单元)是Google为机器学习应用 TensorFlow打造的一种定制ASIC芯片,能在相同时间内处理更复杂、更强大的机器学 习模型并将其更快地投入使用。TPU架构主要模块包括片上内存，256x256个矩阵乘 法单元，非线性神经元计算单元(activation),以及用于归一化和池化的计算单元。14 GtB/sDOR3 DRAM Chips|JO 30 GiB/s-Y-30 GIB/sDDR3 InterfacesControlWeight FIFO(Weight Fetcher)14 GiB/s88P 里od14 GtB建Not lo ScaleJ,30 GiB/sControlAccumulatorsActivatkxiNormalize/Pool|Ceittrol ControlMatrix Multiply Unit10 GiB/tUnifWd Buffer(Local Activation Storage)Systolic Data Setup167G.B s(64K per cycle)Control167 GiB/s二 S O H 10.4深度学习的硬件实现第十章深度学习前沿发展4.寒武纪寒武纪是中国科学院计算技术研究所发布的能够深度学习的神经网 络处理器芯片。该系列包含三种原型处理器结构：寒武纪1号（英文名DianNa。，面向神经网络的原型处理器结构）；寒武纪2号（英文名DaDianNao,面向大规模神经网络）；寒武纪3号（英文名PuDianNao,面向多种机器学习算法）。IB:Inst.8 6 e E-号d u 一ShiDianNao:Bank#0Bank#2Py-lNBout:Bank#0Bank#2Py-lSB:_a Bank#0Bank#Py-lDecoder号00Px*Py ALUOutput 4-10.4深度学习的硬件实现第十章深度学习前沿发展5.TrueNorthIBM TrueNorth芯片11从一个神经形态内核着手，将许多神经树突（输入）和轴突（输出）连在一起。每个神经元都可以向另一个神经元发出（称之为尖峰 的）信号，信号可为一或零（电压脉冲或尖峰）。芯片上的神经元可以发信号 给同一芯片上的其他神经元或是接受来自同一芯片其他神经元的信号。TrueNorth芯片主要依赖于对卷积神经网络的层、节数据的过滤和计算以完成 深度学习。它不仅能够实现卷积网络的功能，而且还能够支持多样的连接形式（反 馈、横向反馈和正向反馈），并能同时执行各种不同的其他算法。习题:1.增强学习包括哪些内容？2.迁移学习的定义是什么？3.LSTM的原理是什么？4.增强学习与其他学习范式有哪些异同之处?5.增强学习的应用领域有哪些？6.增强学习的过程是什么？7.迁移学习分为哪几个类别？8.迁移学习的应用领域有哪些？9.记忆网络与循环神经网络有哪些区别？10.记忆网络有哪些变种？11.FPGA与GPU有什么区别？12.TPU的主要组成是什么？感谢聆听