智能的综合集成.ppt

第第7章章 智能的综合集成智能的综合集成 任务：任务：符号智能与计算智能的综合集成内容：内容：TAI与计算智能技术的特点回顾 综合集成的必要性和可能性 综合集成的信息基础 综合集成模型结构 集成方法 一、一、TAI与计算智能技术的特点回顾与计算智能技术的特点回顾1 1、各自特点、各自特点2 2、各体现的智能行为、各体现的智能行为3 3、在系统中的层次、在系统中的层次TAITAI的符号主义、的符号主义、ANNANN的联接主义在机制上集成，处于系统信息处理的底层的联接主义在机制上集成，处于系统信息处理的底层计算智能技术在方法上综合，可处于系统信息处理的各个层次计算智能技术在方法上综合，可处于系统信息处理的各个层次 一般认为：高层一般认为：高层 TAITAI、FSFS 中层中层 EAEA 底层底层 ANN ANN 二、综合集成的必要性和可能性1、必要性机制上机制上需要集成多种机制需要集成多种机制（1）信息处理角度MinskyMinsky：我们需要利用两者优点的集合系统：我们需要利用两者优点的集合系统（2）生理学角度串行串行+并行并行（3）思维科学角度结合结合TAITAI的逻辑思维和的逻辑思维和CICI的形象思维的形象思维方法上方法上需要综合各种方法需要综合各种方法二、综合集成的必要性和可能性2、可能性出发点：出发点：基于移位器问题，考察基于移位器问题，考察BPBP和产生式系统的相互统一。和产生式系统的相互统一。问题描述：问题描述：给定给定3 3个向量个向量V V1 1=(a=(a1 1,a,a2 2,a,amm)V V2 2=(b=(b1 1,b,b2 2,b,bmm)V V3 3=(c=(c1 1,c,c2 2,a,a3 3)要求在要求在V V3 3中显示出中显示出V V2 2是是V V1 1的左移、不移和右移。的左移、不移和右移。二、综合集成的必要性和可能性（一）一个基于规则的产生式系统可以用一个（一）一个基于规则的产生式系统可以用一个（一）一个基于规则的产生式系统可以用一个（一）一个基于规则的产生式系统可以用一个ANNANN系统实现系统实现系统实现系统实现 对移位器问题，可用产生式规则描述为对移位器问题，可用产生式规则描述为：二、综合集成的必要性和可能性关键：如何用一ANN表示出众多的规则？方法：（1）划分规则的前提为独立的因子，（2）抽象出足以表达各因子的关键元，（3）关键元对应于BP的输入节点（4）规则的结论对应于BP的输出节点（5）构成BP网络已有大量的训练实例。二、综合集成的必要性和可能性（二）一个BP系统可以用一个产生式系统表示关键：如何从一个BP中抽取出规则？方法：（1）从一个BP中得到许多输入/输出模式对（2）每一模式形成一个产生式规则注意：抽出的规则可能无意义，信息丢失二、综合集成的必要性和可能性（三）产生式系统蕴涵的前提与结论的关联在BP中得到充分显现关键：如何表示这种关联的可信度如何表示这种关联的可信度RFRF（Relation FactorRelation Factor）？）？方法：很多，如下面（1 1）假设在没有输入时，输出节点的动作值为）假设在没有输入时，输出节点的动作值为H(S)H(S)，其中，其中S S为输出的三种为输出的三种状态之一；当输入某个模式的一种状态状态之一；当输入某个模式的一种状态P P时，输出节点的动作值为时，输出节点的动作值为O(P,S)O(P,S)，则则 RFRF1 1(P,S)=k(P,S)=k1 1(O(P,S)-H(S)(O(P,S)-H(S)，k k1 1 为一常数。为一常数。二、综合集成的必要性和可能性（2 2）当考虑一种输入模式的各种情况时，用）当考虑一种输入模式的各种情况时，用C(P,S,F)C(P,S,F)表示输入模式的各种表示输入模式的各种情况都输入后（单元动作值从最小变为最大），输出节点的动作值的变化。情况都输入后（单元动作值从最小变为最大），输出节点的动作值的变化。则对一种移位状态，总的变化则对一种移位状态，总的变化Sum(P,S)=Sum(P,S)=C(P,S,F)C(P,S,F)设输入模式的单元数为设输入模式的单元数为N(P),N(P),则则 RFRF2 2(P,S)=k(P,S)=k2 2(Sum(P,S)/N(P),(Sum(P,S)/N(P),，k k2 2 为一常数。为一常数。（3 3）当考虑各种输入模式时，由于输入和输出是非线性的关系，难以用公）当考虑各种输入模式时，由于输入和输出是非线性的关系，难以用公式显式表示。我们可以用类似于从式显式表示。我们可以用类似于从ANNANN系统中抽取出规则的方法，得到输系统中抽取出规则的方法，得到输入到输出的逻辑关系。入到输出的逻辑关系。二、综合集成的必要性和可能性（四）在BP系统中，如果一组输入/输出模式使系统较快稳定，则可以认为对应规则的前提与结论之间的联系较大，反之较小。这满足产生式系统的性质。二、综合集成的必要性和可能性结论：结论：-ANN-ANN系统与系统与系统与系统与ESES是统一的是统一的是统一的是统一的：都是知识的表达、获取和推理的系统；都是知识的表达、获取和推理的系统；在在ANNANN中，知识的表达是以分布在神经元之间的联接体现的；推理过程中，知识的表达是以分布在神经元之间的联接体现的；推理过程是网络动态演化到稳定状态的过程；知识的获取是通过是网络动态演化到稳定状态的过程；知识的获取是通过ANNANN的学习功能实的学习功能实现的；现的；只是两者赖以生存的机器不同只是两者赖以生存的机器不同二、综合集成的必要性和可能性-不同形式知识的融合不同形式知识的融合不同形式知识的融合不同形式知识的融合 符号机制的逻辑知识符号机制的逻辑知识 联接机制的数据知识联接机制的数据知识 行为机制的时序动作知识行为机制的时序动作知识-需要知识转换机制需要知识转换机制需要知识转换机制需要知识转换机制 如如如如NNMNNM方法上方法上方法上方法上：-计算智能方法的相似性计算智能方法的相似性-计算智能与计算智能与TAITAI的相似性的相似性三、三、综合集成的信息基础集成机理集成机理机制的集成机制的集成方法的综合方法的综合集成机理集成机理从问题求解系统从问题求解系统PSS的知识处理分析的知识处理分析PSS：知识及其操作的集合：知识及其操作的集合四种知识：四种知识：背景知识背景知识(Background Knowledge)描述特定领域包含的对象及对象之间的联系。对象本身有自己的不同属性，对象之间的联系称为关系，关系又可以有一些属性。可用ER图表示策略知识策略知识(Strategy Knowledge)说明PSS使用前三种知识的方式，即系统在当时给定条件满足后如何操作。主要包含一些操作算子和相应的操作对象，并且这些操作已有序化。样本知识样本知识(Example-based Knowledge)描述实例化的对象及其属性的情况或事例。因果知识因果知识(Causal Knowledge)在PSS中对特定用户来说是一种解释性知识，说明概念或行为间的因素或顺序关系或者说明某种操作的原因和含义实际上因果知识也是一种策略知识，它同时依赖于领域环境和用户集成机理集成机理不不同同的的PSS在在表表征征、处处理理这这些些知知识识时时采采用用的的方方法法各各有有不不同同，相应使知识在不同系统中的流动也不尽相同。相应使知识在不同系统中的流动也不尽相同。下面分析下面分析ES、ANN、FS、EA在知识处理方法方面的异同。在知识处理方法方面的异同。分析工具：知识流图分析工具：知识流图(Knowledge Flow Diagram)用方框代表某种知识，知识的种类标注在方框内；用方框代表某种知识，知识的种类标注在方框内；用双横线标明知识的来源和目的地；用双横线标明知识的来源和目的地；用箭头表示知识的流动；用箭头表示知识的流动；用椭圆表示产生某种知识的操作，操作的类型标注在椭圆内。用椭圆表示产生某种知识的操作，操作的类型标注在椭圆内。集成机理集成机理（1）处理知识的类型）处理知识的类型ES：一般只处理精确知识，后期引入不确定推理技术作为补充计算智能专长于模糊知识处理FS：直接处理模糊知识ANN：通过能量函数等允许部分模糊知识的处理EA：通过评价函数等允许部分模糊知识的处理集成机理集成机理（2）系统的工作方式）系统的工作方式-集中于推理方式上集中于推理方式上ES：正向、逆向和两者结合FS：正向加反馈ANN：正向加反馈EA：没有明显的推理方式，基本上归为正向u总体而言，它们在工作方式上是类似的集成机理集成机理（3）知识处理方式）知识处理方式pES：在ES中，知识分为：事实(Factual Knowledge)：阐明一个事实，是最低级的知识。规则(Rule Knowledge)：是一种深化的事实操作知识。包括前提和结论。置信度(Belief Knowledge)：是人们对事实、规则或策略的承认程度。典型例：策略：集成机理集成机理（3）知识处理方式）知识处理方式对应PSS，ES中的事实知识、规则知识和置信度知识属于背景知识范畴；部分事实知识、规则知识和置信度知识属于样本知识范畴；部分规则知识和相关的事实知识属于因果知识范畴；策略属于策略知识；典型例知识属于样本知识。集成机理集成机理（3）知识处理方式）知识处理方式ES的KDF图环境知识表示与获取知识库推理界面用户BK，CKSKCKEK集成机理集成机理（3）知识处理方式）知识处理方式pANN：ANN认为知识在其内部的表现形式是一致的，即都采用数值表示，系统的工作过程也即根据一定的学习算法变换内部神经元的联系，使系统最终达到稳定的过程。ANN系统结构本身就包含大量的背景知识和隐含在网络初始结构中的一些策略知识；主要的策略知识由学习算法表示；系统在训练时需要样本知识；训练稳定后，网络的联接结构就隐含了一些因果知识。集成机理集成机理（3）知识处理方式）知识处理方式ANN的KDF图环境构造模型NN系统学习界面用户BK，SKSKCKEKCK集成机理集成机理（3）知识处理方式）知识处理方式pFS：除前期的模糊化和后期的去模糊外，其它与ES的知识处理方式类似。集成机理集成机理（3）知识处理方式）知识处理方式pEA：初始个体集包含了背景知识和因果知识，算法的训练经验实际上就是样本知识，而评价函数也即策略知识。集成机理集成机理（3）知识处理方式）知识处理方式EA的KDF图环境构造初始群体进化界面用户BK，CKSKEK进化了的群体BK，CKEK集成机理集成机理（3）知识处理方式）知识处理方式总之，假设PSS中四种类型的知识分别对应有知识产生器，则在这些知识产生器和知识集合之间，知识可以以多种形式流动。PSS可以用这四种知识及其不同的流程来加以分类和刻画。对PSS而言，当确定了系统中知识产生和流动的方式及次序，也就确定了系统的功能和行为。至此，我们可以将ES、FS、ANN、EA纳入到一个统一的框架下。机制的集成机制的集成第一种提法：第一种提法：模模块块相相换换法法。分分系系统统为为若若干干模模块块，分分别别用用ES或或ANN实实现现；又分为并行协调法和串行连接法。又分为并行协调法和串行连接法。嵌入法。在嵌入法。在ES中嵌入中嵌入ANN。主要用于模式匹配。主要用于模式匹配。功能模拟法。又分为：功能模拟法。又分为：联接主义产生式系统。将产生式规则用联接主义产生式系统。将产生式规则用ANN表示。效率不高。表示。效率不高。联接机制专家系统。立足于联接机制专家系统。立足于ES的构成框架，用的构成框架，用ANN作为作为ES的部的部分功能模块。分功能模块。基于基于ES-ANN变换的变换的ES。用。用ANN计算取代计算取代ES的推理机。抛弃了的推理机。抛弃了符号机制的优点。符号机制的优点。机制的集成机制的集成第二种提法第二种提法(Elaine Rich)：“黑盒黑盒/细线细线”(black-box/thin-line)每每个个盒盒子子为为一一符符号号系系统统或或ANN，盒盒子子之之间间的的通通信信通通过过一一个个带带宽宽很很窄窄的的信信道道细细线线进行，但任何一方不知道另一方的情况。进行，但任何一方不知道另一方的情况。黑盒模块化黑盒模块化(black-box modularity)模块均以符号化形式输出，并且本身也以符号化形式表示。模块均以符号化形式输出，并且本身也以符号化形式表示。并行管理与控制并行管理与控制(parallel monitoring and control)将将ANN和符号系统分别用于正常和意外情况的处理。和符号系统分别用于正常和意外情况的处理。指导式指导式(the guide)ANN提供启发式搜索的估价函数，由符号系统去执行。提供启发式搜索的估价函数，由符号系统去执行。符号信息的符号信息的ANN获取方式获取方式ANN用于寻找用于嵌入规则或框架中的模式。用于寻找用于嵌入规则或框架中的模式。两院制结构两院制结构两种形式对知识可以共享。两种形式对知识可以共享。机制的集成机制的集成第三种提法：第三种提法：完全由完全由ANN构造。构造。混合方式。两者保持原有结构，各自解决适应处理的问题。混合方式。两者保持原有结构，各自解决适应处理的问题。集成。两者之间设法沟通，统一在一个全新的协调中。集成。两者之间设法沟通，统一在一个全新的协调中。机制的集成机制的集成注意：注意：NNM：神经网络块：神经网络块方法的综合方法的综合1、从信息流分析、从信息流分析各种方法在信息流的每一阶段，都只关注一个部分这也进一步说明了方法综合的必要性2、从问题求解分析、从问题求解分析PSS：Problem Solving System 智能爬山初始候选解集-结果优化方法的综合方法的综合环境初始基础结果输入输出问题求解转换知识变换知识变换方法的综合方法的综合不同的知识处理方法在各环节采用了不同的方法不同的知识处理方法在各环节采用了不同的方法TAI：初始知识表示、接口、知识获取与推理、知识输出与解释FS：模糊集划分的知识表示、隶属度输入、模糊推理、模糊集、隶属度输出、去模糊ANN：输入变换、输入数据、学习规则学习、收敛的权值矩阵、输出数据、输出变换EA：候选解表示、候选解集、编码、遗传操作、解、解码四、四、综合集成的模型结构一种典型的模型：一种典型的模型：环境*柔性信息处理（计算智能）交互系统交互式、反馈学习智能接口系统集成方法集成机制开放式自主系统四、四、综合集成的模型结构注：注：1、此模型是一复杂系统2、在实用时，形成了一些简化系统3、环境的复杂性：病构、时变信息处理4、与分布式AI对应，包括PSS和MAS5、国内经常称：多领域知识多处理范型智能系统6、与人工思维模型对应：7、受到重视真实世界柔性信息处理集体智能开放式自主系统 五五 计算智能方法的综合计算智能方法的综合以计算智能的综合为主，适当结合符号智能以计算智能的综合为主，适当结合符号智能FS+ANNFS+EAEA+ANNANN+ES其它（一）、（一）、FS+ANN1、综合的动机（1）FS处于系统的高层，ANN处于系统的底层（2）从问题求解角度：Operation of Fuzzy System Crisp InputFuzzy InputFuzzy OutputCrisp OutputFuzzificationRule EvaluationDefuzzificationInput Membership FunctionsRules/InferencesOutput Membership Functions FS FS：环境初始基础结果输入（模糊集、隶属度）输出（模糊集、隶属度）问题求解转换（模糊推理）人机接口知 识 变换（模糊化）知 识 变换（去模糊）模糊知识库40神经网络（神经网络（BP）的拓扑结构）的拓扑结构x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxnWV ANN ANN：环境初始基础结果输入（数据量）输出（数据量）问题求解转换（学习）人机接口知 识 变换（输入变换）知 识 变换（输出变换）权值矩阵2、综合的方法（1）FS用于ANN模糊神经网络 目的：增强ANN的柔性信息处理能力 内容：神经元结构的模糊化 神经网络结构的模糊化（权值矩阵等）神经网络学习规则的模糊化（2）ANN用于FS神经模糊系统 目的:增强FS的学习能力 内容：模糊集的划分 隶属度的学习生成 模糊推理的映射关系用ANN-NFM（二）、（二）、FS+EA1、综合的动机（1）FS处于系统的高层，EA处于系统的中层（2）从问题求解角度：EA EA：环境初始基础结果输入（初始解集）输出（最终种群中的一个个体）问题求解转换（遗传操作）人机接口知 识 变换（编码）知 识 变换（解码）当前群体2、综合的方法（1）FS用于EA模糊进化算法 目的：增强EA的模糊信息处理能力 内容：模糊进化算法 （2）EA 用于FS进化模糊系统 目的:增强FS的自适应进化学习能力 内容：模糊集划分的进化生成 模糊规则的进化生成（三）、（三）、EA+ANN1、综合的动机（1）EA处于系统的中层，ANN处于系统的底层（2）从问题求解角度：2、综合的方法（1）EA用于ANN进化神经网络 目的：提高ANN的自适应进化学习能力 内容：进化ANN结构的各个侧面，特别是权值矩阵、联接模式、学习规则（2）ANN用于EA神经进化系统 目的:增强EA的映射能力和可解释性 内容：用ANN代替EA的操作算子 （四）、（四）、TAI（ES）+CIES：环境初始基础结果输入（如产生式规则）输出（规则后部）问题求解转换（推理）人机接口知 识 变换（表示）知 识 变换（解释）知识库1、综合的动机2、综合的方法（1）CI用于ES 目的：提高ES的自学习能力（2）ES 用于CI 目的：提高CI 的知识处理（表示、获取、推理、解释）能力 Presentation选题：建议与要求：选择好的论文（顶级国际杂志，本方向名人的，方法新颖，试验充分，写作好）选题意义、难点、关键技术点现状与分析MotivationMethod试验与结果分析下一步工作思考Presentation其它要求其它要求介绍？分钟，问答？分钟注意：选题的代表性思路清晰表达正确、流畅回答正确仪态同组成员的协作Thanks for your attention