人工智能及其应用.pptx

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,单击此处编辑母版标题样式,*,*,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,*,*,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,人 工 智 能,1,人工智能及其应用,第1页,第七章 机器学习,7.1 机器学习定义、研究意义与发展历史,7.2 机器学习主要策略与基本结构,7.3 7.7 几个惯用学习方法,7.8 知识发觉,7.9 小结,2,人工智能及其应用,第2页,7.1 机器学习定义和发展历史,7.1.1,机器学习定义,机器学习定义,顾名思义,机器学习是研究怎样使用机器来模拟人类学习活动一门学科。稍为严格提法是：机器学习是一门研究机器获取新知识和新技 能,并识别现有知识学问。,3,人工智能及其应用,第3页,7.1.2机器学习发展史,机器学习发展分为4个时期,第一阶段是在50年代中叶到60年代中叶,，属于热烈时期。,第二阶段在60年代中叶至70年代中叶,，被称为机器学习冷静时期。,第三阶段从70年代中叶至80年代中叶,，称为复兴时期。,机器学习最新阶段始于1986年。,7.1 机器学习定义和发展历史,4,人工智能及其应用,第4页,机器学习进入新阶段表现,机器学习,已成为新边缘学科并在高校形成课程。,综合各种学习方法,机器学习与人工智能问题,统一性观点正在形成。,各种学习方法应用范围不停扩大。,数据挖掘和知识发觉,研究已形成热潮。,与机器学习相关学术活动空前活跃。,7.1 机器学习定义和发展历史,5,人工智能及其应用,第5页,7.2 机器学习主要策略和基本结构,7.2.1,机器学习主要策略,按照学习中使用推理多少，机器学习所采取策略大致上可分为4种,机械学习、传授学习、类比学习,和,示例学习。,机械学习（死记硬背）,传授学习（灌输；推理、翻译、转化）,类比学习（模仿；寻找相同案例）,示例,学习（举一反三,归纳，抽象）,6,人工智能及其应用,第6页,7.2.2,机器学习系统基本结构,1.学习系统基本结构,环 境,学 习,知识库,执 行,图6.1 学习系统基本结构,7.2 机器学习主要策略和基本结构,7,人工智能及其应用,第7页,2.影响学习系统设计要素,影响学习系统设计最主要原因是,环境向系统提供信息,，或者更详细地说是信息质量。,知识库,是影响学习系统设计第二个原因。,知识表示有特征向量、一阶逻辑语句、产生式规则、语义网络和框架等各种形式。,选择知识表示方式四标准：,表示能力,推理能力,修改能力,扩展能力,7.2 机器学习主要策略和基本结构,8,人工智能及其应用,第8页,7.3 机械学习,1.机械学习模式,机械学习是最简单学习方法。机械学习就是记忆，即把新知识存放起来，供需要时检索调用，而不需要计算和推理。它是一个最基本学习过程。,特点：忽略推理、计算过程，提升效率,7.3 机械学习,9,人工智能及其应用,第9页,存放,计算,推导,归纳,算法与理论,机械记忆,搜索规则,图7.2 数据化简级别图,Lenat，Hayes-Roth，和Klahr等人于1979年关于机械学习提出一个有趣观点，见图7.2。,7.3 机械学习,10,人工智能及其应用,第10页,2.机械学习主要问题,存放组织信息,：,要采取适当存放方式，使检索速度尽可能地快。,提升检索效率：索引、排序、杂凑,环境稳定性与存放信息适用性问题：,机械学习系统必须确保所保留信息适应于外界环境改变需要。,知识过时，设置使用期,存放与计算之间权衡：,对于机,械学习来说很主要一点是它不能降低系统效率。,重新计算比检索更省有效率时，失去意义；,方法：设置存放量阀值；选择忘却,7.3 机械学习,11,人工智能及其应用,第11页,7.4 归纳学习,归纳学习（induction learning）是应用归纳推理进行学习一个方法。依据归纳学习有没有教师指导，可把它分为示例学习和观察与发觉学习。（从个别到普通）,7.4.1 归纳学习模式和规则,归纳学习模式,其普通模式以下：,给定：观察陈说（事实）F，假定初始断言（可能为空），背景知识（领域知识，约束，假设，优先准则）,求：归纳断言（假设）H,12,人工智能及其应用,第12页,假设H永真蕴涵事实F，说明F是H逻辑推理，则有：H|F 或 F|H；,选择型概括，结构性概括：,选择性概括规则：,取消部分条件,放松条件,沿概念树上溯,形成闭合区域,将常量转化成变量,解释过程,实例空间,规则空间,规划过程,13,人工智能及其应用,第13页,7.4.2 归纳学习方法,1.示例学习（learning from examples）,动物识别,中医诊疗,2.观察发觉学习（learning from observation and discovery）,观察学习：事例聚类，形成概念描述；,机器发觉：发觉规律，产生定理或规则；,14,人工智能及其应用,第14页,7.5 类比学习,7.5.1 类比推理和类比学习方式,类比学习（learning by analogy）就是经过类比，即经过对相同事物加以比较所进行一个学习。,其推理过程以下：,回想与联想,选择,建立对应关系,转换,P(a),Q(a),P(a),P(b)Q(b)Q(a),15,人工智能及其应用,第15页,7.5.2 类比学习过程与研究类型,类比学习主要包含以下四个过程：,输入一组已知条件和一组未完全确定条件,。,对两组出入条件寻找其可类比对应关系。,依据相同转换方法，进行映射。,对类推得到知识进行校验。,7.5 类比学习,16,人工智能及其应用,第16页,类比学习研究可分为两大类,：,(1)问题求解型类比学习,(2)预测推定型类比学习。它又分为两种方式,：,一是传统类比法,另一是因果关系型类比,7.5 类比学习,17,人工智能及其应用,第17页,7.6 解释学习(explanation-based learning),7.6.1 解释学习过程和算法,1986年米切尔（Mitchell）等人为基于解释学习提出了一个统一算法EBG：,训练例子,操作准则,知识库,新规则,目标概念,18,人工智能及其应用,第18页,EBG求解问题形式可描述于下:,给定：,(1)目标概念描述,TC,；,(2)训练实例,TE,；,(3)领域知识,DT,；,(4)操作准则,OC,。,求解：,训练实例普通化概括，使之满足：,(1)目标概念充分概括描述,TC,；,(2)操作准则,OC,。,7.6 解释学习,19,人工智能及其应用,第19页,7.7 神经学习,7.7.1 基于反向传输网络学习,反向传输,（back-propagation,BP）算法是一个计算单个权值改变引发网络性能改变值较为简单方法。BP算法过程包含从输出节点开始，反向地向第一隐含层传输由总误差引发权值修正。,20,人工智能及其应用,第20页,BP算法,网络模型：,BP网络前向计算关系：,以三层网络为例，n个输入结点，m个输出结点，H个隐层结点，训练样本由（x,k,，d,k,）（k=1,2p）组成训练对，转移函数微f（）,当输入第k个样本数据时隐层结点h与输出层结点j加权和与输出分别为：,x,1,x,2,x,n,y,1,y,2,y,m,W,ih,W,hj,d,1,e,2,d,m,e,1,e,m,y,h,(k),x,i,(k),y,j,(k),21,人工智能及其应用,第21页,BP算法权值调整方法：,令输出结点家j误差为 则k个训练样本误差平方和为性能指标,隐层到输出层权值调整（梯度法）：,输入层到隐层权值调整（梯度法）：,BP网络训练步骤：,用小随机数初始化网络各层权值；,样本数据输入；,误差计算；,权值改变量计算；,权值调整,22,人工智能及其应用,第22页,7.7.2 基于Hopfield网络学习,反馈神经网络，它是一个动态反馈系统，比前馈网络含有更强计算能力。,Hopfield网络是一个含有正反相输出带反馈人工神经元。,7.7 神经学习,23,人工智能及其应用,第23页,反馈型神经网络（Hopfield网络）,Hopfield网络结构,Hopfield离散随机网络是Hopfield于1982提出，1984年又提出了连续时间模型。普通在进行计算机仿真时采取离散模型，而在硬件实现时采取连续模型。,Hopfield网络主要意义；,f,(.),f,(.),f,(.),I,1,I2,I,n,V,n,V,2,V,1,W,2n,W,22,W,12,24,人工智能及其应用,第24页,一个特定Hopfield离散网络特征（CAM）,f(.)=sign(.),网络计算：,Hopfield证实当W,ij,W,ji,，网络是收敛。,数据网络演变方式：同时与异步,网络稳定性：稳定吸引子、极限环状态、状态发散,Hopfiled算法：,（1）设置互联权值,含有m个样本，x为输入样本变量，为1或-1n维向量；,（2）对未知类别采样初始化,y,i,(0)=x,i,0=i=n-1,（3）迭代运算：,（4）网络收敛，则结束；不然转（2）,25,人工智能及其应用,第25页,7.8 知识发觉,7.8.1 知识发觉发展和定义,知识发觉产生和发展,知识发觉最早是于1989年8月在第11届国际人工智能联合会议专题讨论会上提出。,知识发觉定义,数据库中知识发觉是从大量数 据中辨识出有效、新奇、潜在有用、并可被了解 模式高级处理过程。,数据集、新奇、潜在有用、可被人了解、模式、高级过程,26,人工智能及其应用,第26页,7.8.2 知识发觉处理过程,1.,数据选择,。依据用户需求从数据库中提取与KDD相关数据。,2.,数据预处理,。主要是对上述数据进行再加工，检验数据完整性及数据一致性，对丢失数据利用统计方法进行填补，形成发掘数据库。,7.8 知识发觉,27,人工智能及其应用,第27页,3.,数据变换,。即从发掘数据库里选择数据,4.,数据挖掘,。依据用户要求，确定KDD目标是发觉何种类型知识。,5.,知识评价,。这一过程主要用于对所取得规则进行价值评定，以决定所得规则是否存入基础知识库。,7.8 知识发觉,28,人工智能及其应用,第28页,7.8.3 知识发觉方法,1.统计方法：统计方法是从事物外在数量上表现去推断该事物可能规律性。,（1）传统方法：,搜集数据，分析数据，进行推理（回归分析，判别方法，聚类分析，探索性分析）,（2）含糊集,（3）支持向量机（SVM）,（4）粗糙集：,含有三值隶属函数含糊集，必定属于、可能属于、必定不属于该概念。,7.8 知识发觉,29,人工智能及其应用,第29页,2.机器学习方法,（1）规则归纳 如：AQ算法,（2）决议树,（3）范例推理,（4）贝叶斯信念网络,（5）科学发觉 如：BACON系统,（6）遗传算法,3.神经计算方法(MLP、BP、Hopfield、RBF),4.可视化方法：可视化（visualization）就是把数据、信息和知识转化为可视表示形式过程。,30,人工智能及其应用,第30页,7.8.4 知识发觉应用,知识发觉已在许多领域得到应用。现在，知识发觉已在银行业、保险业、零售业、医疗保健、工程和制造业、科学研究、卫星观察和娱乐业等行业和部门得到成功应用，为人们科学决议提供很大帮助。,7.8 知识发觉,31,人工智能及其应用,第31页,金融,（1）市场分析与预测,（2）帐户分类、信用评定,保险,（1）潜在客户评定、分析,（2）索赔合理性分析,制造业（生产过程优化）,市场与零售业（销售、库存、需求、零售点、价格等分析与预测）,医疗业（医疗诊疗）,司法（FAIS系统，识别洗钱、诈骗、犯罪分析）,工程与科学（星体发觉）,32,人工智能及其应用,第32页,7.9 小结,本章只对机器学习作个入门介绍。,机器学习在过去十多年中取得较大发展。今后机器学习将在理论概念、计算机理、综合技术和推广应用等方面开展新研究。其中，对结构模型、计算理论、算法和混合学习开发尤为主要。在这些方面，有许多事要做，有许多新问题需要人们去处理,。,33,人工智能及其应用,第33页,