人工神经网络及其经济管理应用.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第一章 导 论,什么是人工神经网络（Artificial Neural Network）,人脑结构对ANN的启示,ANN 的特点,人工神经网络的发展历史,ANN在经济管理领域的应用,什么是Artificial Neural Network,Neural networks are composed of simple elements operating in parallel.These elements are inspired by biological nervous systems.,As in nature,the network function is determined largely by the connections between elements.We can train a neural network to perform a particular function by adjusting the values of the connections(weights)between elements.,模拟人脑，人工智能（AI）的基础之一。,人脑结构对ANN的启示,How human brain works?,Stimuli,Preceptor,Effecter,人脑功能的基础神经网络,人脑功能,Who？,对人脑进行模拟的两条道路,黑箱方法功能模拟电子计算机,白箱方法结构模拟智能机器（ANN）,电子计算机（或称为Von Neumann 计算机）以逻辑代数为基本原理，模拟人的逻辑思维。,人工神经网络试图模拟人脑的结构从而得到类似于人脑的功能。,人脑与电脑,共同点：获取、传递、存储、处理、输出信息（知识）。,不同点：,电脑：程序性、串行工作方式、储用分离、易损（Robust）、精确性。,人脑：单元结构简单、整体结构复杂；并行处理；具有自主学习能力（环境可塑性）；联想功能；遗忘功能；复杂决策；高冗余、自我恢复；非线性特征明显。,ANN 的特点,ANN是AI（Artificial Intelligence）的一个分支。,致力于从结构上模仿人脑的功能。,分为软件模仿和硬件模仿。,1、采用大规模分布式结构，通过学习具有非线性输入输出影射能力。,2、通过学习存储知识，具有适应性、容错性及泛化能力（举一反三）。,ANN的基本工作原理,从环境样本中学习，学习的结果存储于连接之中（不可见），学习的过程叫做训练，训练成功的,ANN,可以用来解决特定的问题。,学习的规则是,ANN,的核心，但学习规则与网络结构有关，以下是有监督学习的一般工作原理。,ANN的软件模拟Matlab Toolbox,MATLAB is a high-performance language for technical computing.,The name MATLAB stands for matrix laboratory.,Typical uses include：,Math and computation,Algorithm development,Data acquisition,Modeling,simulation,and prototyping,Data analysis,exploration,and visualization,Scientific and engineering graphics Application development,including graphical user interface building,ANN的发展历史,奠基时期,早在十九世纪初就已经有人关注人类神经活动的复制。,1943年McCulloch&Pitts发表“神经活动中蕴涵的思想与逻辑活动”成为这一领域的奠基之作，其来源是神经生理学。,1946年ENIAC建成，1948年Wiener完成Cybernetics，开创了电子计算机的时代，从不同的方面做出了贡献。,1949年，Donald Hebb提出了著名的Hebb学习规则。,Hebb学习规则,“如果相互连接的两个神经元都兴奋，则二者的联系将加强”“The Organization of BehaviorHebb是一个心理学家，他的理论一开始并没有受到工程界的重视。（Why？）,但是稍后Rochester等人的研究证明，在引入控制论和信息论（Shannon）的相关约束后，Hebb规则是一贯而通用的，并构成了其他学习规则的基础。,ANN的发展历史,第一次研究热潮1950s,1957年，Rosenblatt发明感知机和ADALine,Widrow&Hoff 提出著名的最小均方（LMS）算法。,但出现了恶炒问题人工大脑就要问世了！,被发现无法解决一个简单的XOR问题。,遭到Minsky和Papert等人的全面否定。,沉默期：要命的XOR问题,XOR（0，0）0,XOR（1，1）0,XOR（0，11,XOR（1，0）1,(0,0),(0,1),(1,1),(1,0),复兴期：DARPA,1980年，Grossberg提出解决竞争学习问题的自适应共振理论。,1982年，Hopfield用能量函数构造了一种递归网络计算方法BP网等常用ANN的直接基础。,物质基础：,传统计算机计算能力的飞速发展为他的对手提供了理想的平台。,先进制造工艺使得制造专属于ANN的硬件成为可能。,现实世界对复杂信号处理的强烈需求美国国防部的DARPA声纳探测系统。,当前ANN在经济管理领域的应用,复杂函数关系分析与逼近隐含数学模型,预测,决策支持系统（神经专家系统）,因素（模式）分类与识别,优化问题,知识工程,总之，我们把ANN当做一种方法。,第二章 ANN的基本原理,ANN表达的四个基本要素：,1、神经元模型结构,2、激活函数类型,3、网络模型结构,4、学习算法,Simple Neuron,A neuron with a single scalar input and（no）bias,神经元模型结构,A neuron with a single R-element input vector,表达为有向图的神经元模型,规则1：信号仅沿着定义好的箭头方向在连接上流动。,规则2：节点信号输出等于进入节点信号的代数和,规则3：节点信号沿每个外向连接向外传递并独立于激活函数。,输入信号向量,连接权重,诱导局部域,加法器,输出,一个神经元的状态定义为它的输出信号或诱导局部域。,激活函数类型Transfer Function,阈值函数（阶跃函数）Step,hardlim(n)=1,if n=0;0 otherwise.,Hardlims(n)=1,if n=0;-1 otherwise.,激活函数类型Transfer Function,线性函数linear transfer function,purelin(n)=n,激活函数类型Transfer Function,分段线性函数,Saturating linear transfer function,satlin(n)=0,if n=0;n,if 0=n=1;1,if 1=n,satlins(n)=-1,if n=-1;n,if-1=n=1;1,if 1=n,激活函数类型Transfer Function,Sigmoid函数（S形曲线）,logsig(n)=1/(1+exp(-n),tansig(n)=2/(1+exp(-2*n)-1,This is mathematically equivalent to tanh(n)双曲正切函数,网络模型结构单层前馈网,源节点输入层,神经元输出层,一个严格无圈的和前馈的网络。,“单层”是指神经元输出层。,源节点输入层不计算在内。,网络模型结构多层前馈网,源节点,输入层,隐藏神,经元层,神经元输出层,一个完全连接网络。,理论上隐层可以有,N,个。,隐层的存在可以使网络具有很强的能力（如泛函逼近能力）,隐层神经元的学习算法是一个难点。,应用十分广泛。（如,BP,网）,网络模型结构递归网络,无隐层、无自反馈递归网络,延迟,递归网络也可以是有隐层的。,左图为清晰起见没有完全连接，实际上是否完全连接取决于设计者的目的。,由于反馈环的存在，这种网络可以实现非线性动态行为。,让数据说话神经网络的知识表达,ANN的知识表达是内嵌的。,内嵌的结果是神经元之间的连接发生变化。,整体性：单独某个连接的变化也许并无意义。,规则1：,类似,的输入通常产生,类似,的表示,规则2：不同类输入给出,差别很大,的表示,规则3：如果某特征很重要，则表达涉及大量的神经元,规则4：先验信息和不变性可事先附加于网络。,如何让外部刺激产生知识？,神经元之间连接权重的调整是表达知识的最基本方法。,如何按照前述四个规则调整权重成为关键问题。,学习算法,学习算法的种类：,误差修正学习,基于记忆的学习,Hebb学习,竞争学习,Boltzmann学习,学习算法的定义,学习：,因经验而发生的持久的行为改变。,神经网络学习,：学习是一个过程，通过该过程神经网络的自由参数在其嵌入的环境的激励过程中得到调节。学习的类型由参数改变的方式决定。（Mendal&McClaren,1970),学习算法,：解决学习问题的一个恰当定义的规则集合。,学习算法不唯一。,