人工智能导论.doc

河南工业大学 人工智能导论班 级： 自动化0901班 姓 名： 张继文 学 号： 200948280103 完成日期： 2012年6月4日 一、BP神经网络的简要介绍 一、BP神经网络的提出；在人工神经网络发展历史中，很长一段时间里没有找到隐层的连接权值调整问题的有效算法。直到误差反向传播算法（BP算法）的提出，成功地解决了求解非线性连续函数的多层前馈神经网络权重调整问题。BP网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。（如图5.2）二、 BP神经网络的基本算法；BP (Back Propagation)神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。具体步骤如下；1、从训练集中取出某一样本，把信息输入网络中。2、通过各节点间的连接情况正向逐层处理后，得到神经网络的实际输出。3、计算网络实际输出与期望输出的误差。4、将误差逐层反向回传至之前各层，并按一定原则将误差信号加载到连接权值上，使整个神经网络的连接权值向误差减小的方向转化。5、対训练集中每一个输入输出样本对重复以上步骤，直到整个训练样本集的误差减小到符合要求为止。BP神经网络模型BP网络模型包括其输入输出模型、作用函数模型、误差计算模型和自学习模型。 （1） 节点输出模型 隐节点输出模型：Oj=f(WijXi-qj) (1) 输出节点输出模型：Yk=f(TjkOj-qk) (2) f-非线形作用函数；q -神经单元阈值。 （2）作用函数模型 作用函数是反映下层输入对上层节点刺激脉冲强度的函数又称刺激函数，一般取为(0,1)内连续取值Sigmoid函数： f(x)=1/(1+e) （3） （3） 误差计算模型 误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数： Ep=1/2(tpi-Opi) (4) tpi- i节点的期望输出值；Opi-i节点计算输出值。 （4） 自学习模型 神经网络的学习过程，即连接下层节点和上层节点之间的权重拒阵Wij的设定和误差修正过程。BP网络有师学习方式-需要设定期望值和无师学习方式-只需输入模式之分。自学习模型为Wij(n+1)= h iOj+aWij(n) （5） h -学习因子；i-输出节点i的计算误差；Oj-输出节点j的计算输出；a-动量因子。三、BP神经网络的优缺点；1、BP神经网络的优点：1) 非线性映射能力：BP神经网络实质上实现了一个从输入到输出的映射功能，数学理论证明三层的神经网络就能够以任意精度逼近任何非线性连续函数。这使得其特别适合于求解内部机制复杂的问题，即BP神经网络具有较强的非线性映射能力。2) 自学习和自适应能力：BP神经网络在训练时，能够通过学习自动提取输出、输出数据间的“合理规则”，并自适应的将学习内容记忆于网络的权值中。即BP神经网络具有高度自学习和自适应的能力。3) 泛化能力：所谓泛化能力是指在设计模式分类器时，即要考虑网络在保证对所需分类对象进行正确分类，还要关心网络在经过训练后，能否对未见过的模式或有噪声污染的模式，进行正确的分类。也即BP神经网络具有将学习成果应用于新知识的能力。4) 容错能力：BP神经网络在其局部的或者部分的神经元受到破坏后对全局的训练结果不会造成很大的影响，也就是说即使系统在受到局部损伤时还是可以正常工作的。即BP神经网络具有一定的容错能力。2、BP神经网络的缺点；虽然BP网络得到了广泛的应用，但自身也存在一些缺陷和不足，主要包括以下几个方面的问题。1) 局部极小化问题：从数学角度看，传统的 BP神经网络为一种局部搜索的优化方法，它要解决的是一个复杂非线性化问题，网络的权值是通过沿局部改善的方向逐渐进行调整的，这样会使算法陷入局部极值，权值收敛到局部极小点，从而导致网络训练失败。加上BP神经网络对初始网络权重非常敏感，以不同的权重初始化网络，其往往会收敛于不同的局部极小，这也是很多学者每次训练得到不同结果的根本原因。2) BP 神经网络算法的收敛速度慢：由于BP神经网络算法本质上为梯度下降法，它所要优化的目标函数是非常复杂的，因此，必然会出现“锯齿形现象”，这使得BP算法低效；又由于优化的目标函数很复杂，它必然会在神经元输出接近0或1的情况下，出现一些平坦区，在这些区域内，权值误差改变很小，使训练过程几乎停顿；BP神经网络模型中，为了使网络执行BP算法，不能使用传统的一维搜索法求每次迭代的步长，而必须把步长的更新规则预先赋予网络，这种方法也会引起算法低效。以上种种，导致了BP神经网络算法收敛速度慢的现象。3) BP 神经网络结构选择不一：BP神经网络结构的选择至今尚无一种统一而完整的理论指导，一般只能由经验选定。网络结构选择过大，训练中效率不高，可能出现过拟合现象，造成网络性能低，容错性下降，若选择过小，则又会造成网络可能不收敛。而网络的结构直接影响网络的逼近能力及推广性质。因此，应用中如何选择合适的网络结构是一个重要的问题。4) 应用实例与网络规模的矛盾问题：BP神经网络难以解决应用问题的实例规模和网络规模间的矛盾问题，其涉及到网络容量的可能性与可行性的关系问题，即学习复杂性问题。5) BP神经网络预测能力和训练能力的矛盾问题：预测能力也称泛化能力或者推广能力，而训练能力也称逼近能力或者学习能力。一般情况下，训练能力差时，预测能力也差，并且一定程度上，随着训练能力地提高，预测能力会得到提高。但这种趋势不是固定的，其有一个极限，当达到此极限时，随着训练能力的提高，预测能力反而会下降，也即出现所谓“过拟合”现象。出现该现象的原因是网络学习了过多的样本细节导致，学习出的模型已不能反映样本内含的规律，所以如何把握好学习的度，解决网络预测能力和训练能力间矛盾问题也是BP神经网络的重要研究内容。6） BP神经网络样本依赖性问题：网络模型的逼近和推广能力与学习样本的典型性密切相关，而从问题中选取典型样本实例组成训练集是一个很困难的问题。二、支持向量机的应用 一、支持向量机介绍支持向量机是由Vapnik领导的AT&TBell实验室研究小组在1963年提出的一种新的非常有潜力的分类技术，SVM是一种基于统计学习理论的模式识别方法，主要应用于模式识别领域。由于当时这些研究尚不十分完善，在解决模式识别问题中往往趋于保守，且数学上比较艰涩，这些研究一直没有得到充分的重视。直到90年代，统计学习理论 (Statistical Learning Theory，SLT)的实现和由于神经网络等较新兴的机器学习方法的研究遇到一些重要的困难，比如如何确定网络结构的问题、过学习与欠学习问题、局部极小点问题等，使得SVM迅速发展和完善，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。从此迅速的发展起来，现在已经在许多领域(生物信息学，文本和手写识别等)都取得了成功的应用。 支持向量机原理；支持向量机是从数据分类问题的研究中发展起来的，它实质上是统计学习理论在实际应用中的一种实现方法，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，而且可以推广应用到函数估计等其他机器学习问题中。三、 支持向量机核心思想 支持向量机实现是通过某种事先选择的非线性映射（核函数）将输入向量映射到一个高维特征空间，在这个空间中构造最优分类超平面。我们使用使用SVM进行数据集分类工作的过程首先是通过预先选定的一些非线性映射将输入空间映射到高维特征空间（如下图使得在高维属性空间中有可能对训练数据实现超平面的分割，避免了在原输入空间中进行非线性曲面分割计算。SVM数据集形成的分类函数具有这样的性质：它是一组以支持向量为参数的非线性函数的线性组合，因此分类函数的表达式仅和支持向量的数量有关，而独立于空间的维度。在处理高维输入空间的分类时，这种方法尤其有效。其工作原理如下图数据挖掘分类技术介绍数据挖掘是机器学习、数据库和统计学三者相结合的产物。数据挖掘首先要确定挖掘的任务或目的，确定了挖掘任务后，就要决定使用什么样的挖掘算法，选择了算法后就可以实施数据挖掘操作，获取有用的模式。分类作为数据挖掘中一项非常重要的任务,目前在商业上应用最多（比如分析型CRM里面的客户分类模型，客户流失模型，客户盈利等等，其本质属于分类问题）。分类的目的是学会一个分类函数或分类模型(也常常称作分类器),该模型能把数据库中的数据项映射到给定类别中的某一个，从而可以用于预测。目前，分类方法的研究成果较多，判别方法的好坏可以从三个方面进行：1）预测准确度（对非样本数据的判别准确度）；2）计算复杂度（方法实现时对时间和空间的复杂度）；3)模式的简洁度（在同样效果情况下，希望决策树小或规则少）。近年来，对数据挖掘中分类算法的研究是该领域中一个热点，对不同分类方法都有许多对比研究成果。没有一个分类方法在对所有数据集上进行分类学习均是最优的。目前在数据挖掘软件中运用的最早也是最多的分类算法是神经网络，它具有对非线性数据快速建模的能力，通过对训练集的反复学习来调节自身的网络结构和连接权值，并对未知的数据进行分类和预测。但是由于神经网络是基于经验最小化原理，它有如下几个固有的缺陷：1）结构复杂（神经元的结构，还有输入层，隐含层，输出层组合起来的复杂结构）2）容易陷入局部极小3)容易出现过学习问题，也就是训练出来的模型推广能力不强为了克服传统神经网络的以上缺点，Vapnik提出了一种新的基于统计学习理论的机器学习算法支持向量机，正式奠定了SVM的理论基础，由于SVM扎实的理论基础，其目前已经成为继神经网络之后的的机器学习领域研究热点之一。三、支持向量机在数据挖掘中的应用鉴于支持向量机扎实的理论基础，并且和传统的学习算法想比较（比如人工神经网络），SVM通过提高数据的维度把非线性分类问题转换成线性分类问题，较好解决了传统算法中训练集误差最小而测试集误差仍较大的问题，算法的效率和精度都比较高。所以近年来该方法成为构造数据挖掘分类器的一项新型技术，在分类和回归模型中得到了很好的应用。但由于支持向量机出现的时间在90年代中期，人们对支持向量机的应用主要集中在模式识别方面，对于将支持向量机应用于数据挖掘的研究刚处于起步阶段。目前，用SVM构造数据挖掘中的分类器来处理海量数据主要面临以下两个困难：(1)SVM算法对大规模训练样本难以实施由于SVM是借助二次规划来求解支持向量，而求解二次规划将涉及m阶矩阵的计算（m为样本的个数），当m数目很大时该矩阵的存储和计算将耗费大量的机器内存和运算时间。针对以上问题的主要改进有有J.Platt的SMO算法、T.Joachims的SVM、C.J.C.Burges等的PCGC、张学工的CSVM以及O.L.Mangasarian等的SOR算法(2)用SVM解决多分类问题存在困难经典的支持向量机算法只给出了二类分类的算法，而在数据挖掘的实际应用中，一般要解决多类的分类问题。可以通过多个二类支持向量机的组合来解决。主要有一对多组合模式、一对一组合模式和SVM决策树；再就是通过构造多个分类器的组合来解决。主要原理是克服SVM固有的缺点，结合其他算法的优势，解决多类问题的分类精度。如：与粗集理论结合，形成一种优势互补的多类问题的组合分类器四、考虑一点商业智能中应用支持向量机是基于统计学习理论的新一代学习机器，具有很多吸引人的特点，它在函数表达能力、推广能力和学习效率上都要优于传统的人工神经网络，在实际应用中也解决了许多问题，但由于SVM的出现比较晚，还处于发展阶段，尤其是其算法实现方面存在着效率低下的问题，这也是限制SVM很好地应用于数据挖掘中的一个瓶颈。可以考虑对传统支持向量机进行扩展，实现多分类支持向量机。可以考虑运用于现在的客户智能系统当中，现有客户智能系统采用的分类技术都是传统的数据挖掘技术：比如神经网络，决策树，回归分析等等。根据最后的图，大家可以看到现在的分析型CRM的整个功能和技术架构，如果把这种新兴的数据挖掘技术-支持向量机，运用于商业智能，相信是种不错的尝试 支持向量机作为刚刚兴起的一种机器学习方法，由于它具有精度高、速度快、自适应能力强、不受高维维数限制等优点，越来越受到各个研究领域的关注。但的研究热潮才刚刚兴起，还有许多亟待解决的问题和难点：一是方法在选择核函数时，没有很好的方法指导，而核函数的选择好坏又很大地影响了的性能；二是惩罚系数的确定；三是训练和检测的规模和速度等。 总之，在理论上的突出优势，会促进它在各个领域的应用研究，其中在工业控制中的应用值得特别重视和加强，若把的优势在工业控制中（如过程控制、优化和诊断等）体现出来，将会对整个工业控制的水平提高产生很好的效果。 三、遗传算法的应用 遗传算法（Genetic Algorithm）是一类借鉴生物界的进化规律演化而来的随机化搜索方法。它是由美国的J.Holland教授1975年首先提出，其主要特点是直接对结构对象进行操作，不存在求导和函数连续性的限定；具有内在的隐并行性和更好的全局寻优能力；采用概率化的寻优方法，能自动获取和指导优化的搜索空间，自适应地调整搜索方向，不需要确定的规则。遗传算法的这些性质，已被人们广泛地应用于组合优化、机器学习、信号处理、自适应控制和人工生命等领域。它是现代有关智能计算中的关键技术。 与人工神经网络类似，遗传算法模型也是从生物学领域获得启发的。从进化的自然选择理论中得到的启发，模仿这样一个选择进化适者生存的演化过程。如同这里有一个兔子部落，在这里生长、繁衍、死亡，在大自然的残酷法则下，它们必须面临来自肉食动物的捕食、有限食物资源和配偶的竞争以及饥饿灾荒和疾病的挑战，并非所有的兔子都能够顺利成熟并繁衍的。假设一种大耳朵的兔子更适合于应对这些外部环境的挑战，于是慢慢地他们繁衍的数量就会比小耳朵的要多得多。而一对兔子夫妇的后代继承了它们的基因后，会继承和加强大耳朵这一特征。这样在自然的选择下，兔子的耳朵就会越来越长。这个过程相当于这个兔子部落具有对环境适应的学习能力，学习如何增长自己的耳朵。遗传算法正是在模仿这种遗传选择和自然淘汰生物进化过程的基础上发展起来的，它对于复杂问题寻找最优解特别适用。如著名的旅行推销员问题：一个推销员希望设计一个送货车的路线计划，送货车需要送到许多商店，商店的先后顺序并不重要，主要是如何确定路线使得总里程最节省。人们已经发现这个问题没有常规的解决策略。然而，通过模拟一大批智能车，开始每辆车都随机地选择行驶路径，通过比较他们完成任务所必须的里程数的长短进行类似自然淘汰的过程（短的在竞争中胜出），然后从这些竞争中胜出的车辆中随机地选择配对，混合他们的路径选择产生新一代的车辆，这样新生代车辆中含有上一代车辆双方的部分特征，那些产生的后代比自己还短的车辆配偶被保留下来，这样慢慢地车辆会变得越来越聪明，选择的路径也越来越优化。 由于遗传算法的整体搜索策略和优化搜索方法在计算是不依赖于梯度信息或其它辅助知识，而只需要影响搜索方向的目标函数和相应的适应度函数，所以遗传算法提供了一种求解复杂系统问题的通用框架，它不依赖于问题的具体领域，对问题的种类有很强的鲁棒性，所以广泛应用于许多科学，下面我们将介绍遗传算法的一些主要应用领域： （2） 函数优化函数优化是遗传算法的经典应用领域，也是对遗传算法进行性能评价的常用算例。很多人构造出了各种各样的复杂形式的测试函数。有连续函数也有离散函数，有凸函数也有凹函数，有低维函数也有高维函数，有确定函数也有随机函数，有单峰值函数也有多峰值函数等。用这些几何特性各具特色的函数来评价遗传算法的性能，更能反映算法的本质效果而对于一些非线性、多模型、多目标的函数优化问题，用其他优化方法较难求解。而遗传算法却可以方便地得到较好的结果。 2.组合优化 随着问题规模的增大，组合优化问题的搜索空间也急剧扩大。有时在目前的计算机上用枚举法很难或不可能求出其精确最优解。对这类复杂问题，人们已意识到应把主要精力放在寻求其满意解上，而遗传算法是寻求这种满意解的最佳工具之一。实践证明，遗传算法已经在求解旅行商问题、背包问题、装箱问题、布局优化、图形划分问题等各种具有NP难度的问题得到成功的应用。3.生产调度问题生产调度问题在很多情况下建立起来的数学模难以精确求解，即使经过一些简化之后可以进行求解.也会因简化得太多而使得求解结果与实际相差甚远。目前在现实生产中主要是靠一些经验来进行调度。现在遗传算法已成为解决复杂调度问题的有效下具。在单件生产车间调度、流水线生产间调度、生产规划、任务分配等方面遗传算法都得到了有效的应用。4.自动控制在自动控制领域中有很多与优化相关的问题需要求解。遗传算法已在其中得到了初步的应用，并显示出良好的效果。例如用遗传算法进行航空控制系统的优化、使用遗传算法设计空间交会控制器、基于遗传算法的模糊控制器的优化设计、基于遗传算法的参数辨识、基于遗传算法的模糊控制规则的学习、利用遗传算法进行人工神经网络的结构优化设计和权值学习等。都显出了遗传算法在这此领域中应用的可能性。5. 机器人学机器人是一类复杂的难以精确建模的人工系统，而遗传算法的起源就来自于人工自适应系统的研究。所以，机器人学理所当然地成为遗传算法的一个重要应用领域。例如，遗传算法已经在移动机器人路径规划、关节机器人运动轨迹规划、机器人逆运动学求解、细胞机器人的结构优化和行为协调等方而得到研究和应用。 6. 图像处理图像处理是计算机视觉中的一个重要研究领域。在图像处理过程中，如扫描、特征提取、图像分割等不可避免地会存在一此误差，从而影响图像的效果。如何使这些误差最小是使计算机视觉达到实用化的重要要求。遗传算法在这些图像处理中的优化计算方面找到了用武之地。目前已在模式识别(包括汉字识别)、图像恢复、图像边缘特征提取等方而得到了应用。7. 人工生命人下生命是用计算机、机械等人下媒体模拟或构造出的具有自然生物系统特有行为的人造系统。自组织能力和自学习能力是人下生命的两大主要特征。人下生命与遗传算法有着密切的关系。基于遗传算法的进化模型是研究人下生命现象的重要基础理论。虽然人下生命的研究尚处于启蒙阶段，但遗传算法已在其进化模型、学习模型、行为模型、自组织模型等方面显示出了初步的应用能力，并且必将得到更为深入的应用和发展。人工生命与遗传算法相辅相成，遗传算法为人下生命的研究提供一个有效的下具，人下生命的研究也必将促进遗传算法的进一步发展。8.遗传编程1989年，美国Standford大学的Koza教授发展了遗传编程的概念,其基木思想是:采用树型结构表示计算机程序,运用遗传算法的思想,通过自动生成计算机程序来解决问题。虽然遗传编程的理论尚米成热,应用也有一此限制,但它已成功地应用于人工智能、机器学习等领域。目前公开的遗传编程实验系统有十多个。例如，Koza开发的ADF系统，While开发的GPELST系统等。9. 机器学习学习能力是高级自适应系统所具备的能力之一，基于遗传算法的机器学习，特别是分类器系统，在很多领域中都得到了应用。例如，遗传算法被用于学习模糊控制规则，利用遗传算法来学习隶属度函数，从而更好地改进了模糊系统的性能；基于遗传算法的机器学习可用来调整人工神经网络的连接权，也可用于人工神经网络结构优化设计；分类器系统也在学习式多机器人路径规划系统中得到了成功的应用。10.数据挖掘。Sunil已成功地开发了一个基于遗传算法的数据挖掘下具。利用该工具对两个飞机失事的真实数据库进行了数据挖掘实验，结果表明遗传算法是进行数据挖掘的有效方法之一。四、介绍群智能理论的内容 群智能(Swarm Intelligence，SI)的概念最早由Beni，Hackwood和Wang在分子自动机系统中提出。分子自动机中的主体在一维或二维网格空间中与相邻个体相互作用从而实现自组织。1999年，Bonabeau，Dorigo和Theraulaz在(Swarm Inte11igence：From Natural to Artificial Systems)t21对群智能进行了详细的论述和分析给出了群智能的一种不严格定义：任何一种由昆虫体或其它动物社会行为机制而激发设计出的算法或分布式解决问题的策略均属于群智能。这里Swa咖可被描述为一些相互作用相邻个体的集合体，蜂群、蚁群、鸟群都是Swa哪的典型例子。一只蜜蜂或蚂蚁的行为能力非常有限它几乎不可能独立存在于自然世界中，而多个蜜蜂或蚂蚁形成的Swarm 则具有非常强的生存能力，且这种能力不是多个个体之间的能力通过简单叠加所获得的。社会性动物群体所拥有的这种特性能帮助个体很好地适应环境，个体所能获得的信息远比它通过自身感觉器官所取得的多，其根本原因在于个体之间存在着信息交互能力。信息的交互过程不仅仅在群体内传播了信息，而且群内个体还能处理信息，并根据所获得的信息(包括环境信息和附近其它个体的信息)改变自身的一些行为模式和规范。这样就使得群体涌现出一些单个个体所不具备的能力和特性尤其是对环境的适应能力 这种对环境变化所具有的适应能力可以被认为是一种智能也就是说动物个体通过聚集成群而涌现出了智能 因此，Bonabeau将SI的定义进一步推广为：无智能或简单智能的主体通过任何形式的聚集协同而表现出智能行为的特性 这里我们关心的不是个体之间的竞争而是它们之间的协同目前尽管群智能理论还非常不成熟但它已成为有别于传统人工智能中连接主义、行为主义和符号主义的一种新的关于智能的描述方法并成为人工智能领域的新研究热点 2003年IEEE第一届国际群智能研讨会在美国印第安纳州首府召开以后将每年举办一次群智能国际研讨会。 群智能思想起源：群智能思想的产生主要源于复杂适应系统理论以及人工生命的研究复杂适应系统(Complex Adaptive System，CAS)理论是在1994年由Ho11and教授正式提出的f31。CAS中成员称为具有适应性的主体，简称主体。主体的适应性，是指它能够与环境以及其它主体进行交流在这种交流的过程中“学习”或“积累经验”。并且根据学到的经验改变自身的结构和行为方式。整个系统的演变或进化，包括新层次的产生分化和多样性的出现新的、聚合而成的、更大的主体的出现等等都是在这个基础上出现的。CAS具有四个基本特点：(1) 首先，主体是主动的、活的实体。具有适应性的主体的概念把个体主动性提高到了系统进化基本动因的位置从而成为研究与考察宏观行为的出发点。(2) 其次个体与环境(包括个体之间)之间的相互影响、相互作用是系统演变和进化的主要动力 相互作用是“可记忆”的，它表现为进化过程中每个个体的结构和行为方式的变化以不同的方式“存储”在个体内部。(3) 再次。这种方法不像许多其他的方法那样把宏观和微观截然分开，而是把它们有机地联系起来。(4)最后，这种建模方法还引进了随机因素的作用使它具有更强的描述和表达能力。随机因素的影响不仅影响状态而且影响组织结构和行为方式。具有主动性的个体会接受教iJi J总结经验并且以某种方式把“经历”记住使之“固化”在自己以后的行为方式中。正因如此，CAS理论提供了模拟生物、生态、经济、社会等复杂系统的巨大潜力。 群智能是一种由无智能或简单智能的个体通过任何形式的聚集协同而表现出智能行为。它在没有集中控制且不提供全局模型的前提下寻找复杂的分布式问题求解方案提供了基础。目前，群智能已成为有别于传统人工智能中连接主义、行为主义和符号主义的一种新的关于智能的描述方法。最早的群智能的不严格定义：任何一种由昆虫群体或其它动物社会行为机制而激发设计出的算法或分布式解决问题的策略均属于群智能。人工生命（AI）是用来研究具有某些生命基本特征的人工系统。人工生命包括两方面的内容：1、 如何利用计算技术研究生物现象；2、 如何利用生物技术研究计算问题。 第二部分的内容的研究中，现已经有了很多源于生物现象的计算技巧，例如，人工神经网络是简化的大脑模型，遗传算法是模拟基因进化的过程，目前这一类计算技术被统称为自然计算。群智能属于自然计算中的一类。它模拟另一种生物系统：社会系统，更确切地说，是模拟由简单个体组成的群落与环境以及个体之间的互动行为。 Swam Intelligence是群智能发展的一个重要历程碑，因为此时已有一些群智能理论和方法得到了应用。其中，它反对定义中使用“主体”一词，其理由是“主体”所带有的自治性和特殊性是许多Swam的个体所不具备和拥有的，这将大大限制Swam的定义范围。他们认为暂时无法给出合适的定义，赞同由Mark Millonas提出的构建一个SI系统所应满足的五条基本原则。Proximity Principle:群内个体具有能执行简单的时间或空间上的评估和计算的能力。Quality Principle:群内个体对环境（包括群内其它个体）的关键性因素的变化做出相应。Principle of Diverse Response:群内不同个体对环境中的某一变化所表现出的响应行为具有多样性。Stability Principle：不是每次环境的变化都会导致整个群体的行为模式的改变。Adaptability Principle：环境所发生的变化中，若出现群体值得付出代价的改变机遇，群体必须能够改变其行为模式。 以上五条原则现在成了群智能的最基本理论，现有的群智能方法和策略都符合这些原则。 Swam Intelligence最重要的观点是：Mind is social，也就是认为人的智能是源于社会性的相互作用，文化和认知是人类社会性不可分割的重要部分，这一观点成为了群智能发展的基石。 群智能模拟的是社会系统的变化，其最基本单位是“敏因”（Meme），它是指思想文化传播中的基本单位，个体在社会中会根据环境来改变自身的思想，敏因的传播途径是在个体与个体之间，在人类社会中它还可以在人脑与书本之间、人脑与计算机、计算机与计算机之间传播。 群智能研究的更进一步目标是对人类思想变化的社会行为的模拟。人类心理中存在着群体性、习惯性、一致性，常常是习惯性地遵循一些习俗和规则。无论什么时候，人们思想和行为总是因相互影响而导致近似的结果。人类的社会思想行为并不简单类似鸟群或鱼群的行为，人类思想的形成过程是一种在高维认知空间的探索历程。两种思想意见在认知空间上聚集到一点上，被称为“一致”或“认同”，而不是鸟群或鱼群系统中的“碰撞”。如果某人认同认知空间某个点，那么就努力靠近它，反之则尽量远离它，这里认知空间中的某个点就是某个人的思想。人类通过这种社会行为达成社会的共识：习俗、道德规范等。 群智能理论现在已经得到了一些应用，出现了一些基于群智能的算法和策略。不过仅有蚁群算法（Ant Colony Optimization ACO)和粒子群优化算法（Particle Swarm Optimizaion PSO）得到广泛应用。五、模糊理论概述 在我们的日常生活中有许多的事物，或多或少都具有模糊性和混淆不清的特性。“模模糊糊”的概念，是最微妙且难以捉摸，但却又是常見最重要的，但在近代数学中却有了很清晰的定义。但是所为“模糊”有两种含义，一是佛似关系、一是恍似关系。 模糊理论的观念在强调以模糊逻辑来描述现实生活中事物的等級，以弥补古典逻辑(二值逻辑)无法对不明确定义边界事物描述的缺点。人类的自然語言在表达上具有很重的模糊性，难以“对或不对”、“好或不好”的二分法来完全描述真实的世界问题。故模糊理论将模糊概念，以模糊集合的定义，将事件(event)属于这集合程度的归属函数(Membership grade)，加以模糊定量化得到一归属度(Membership grade)，来处理各种问题。 随着科学的发展，研究对象越加复杂，而复杂的东西难以精确化，这是一个突出的矛盾，也就是说复杂性越高，有意义的精确化能力越低，有意义性和精确性就变成两个互相排斥的特性。而复杂性却意味着因素众多，以致使我们无法全部认真地去进行考察，而只抓住其中重要的部分，略去次要部分，但这有时会使本身明确的概念也会变得模糊起来，从而不得不采用“模糊的描述”。模糊理论是在美国加州大学伯克利分校电气工程系的L.A.zadeh教授于1965年创立的模糊集合理论的数学基础上发展起来的,主要包括模糊集合理论.模糊逻辑.模糊推理和模糊控制等方面的内容。 早在20世纪20年代,著名的哲学家和数学家B.Russell就写出了有关含糊性的论文.他认为所有的自然语言均是模糊的,比如红的和老的等概念没有明确的内涵和外延,因而是不明确的和模糊的。可是,在特定的环境中,人们用这些概念来描述某个具体对象时却又能心领神会,很少引起误解和歧义。 1974年,英国的E.H.Mamdani首次用模糊逻辑和模糊推理实现了世界上第一个实验性的蒸汽机控制,并取得了比传统的直接数字控制算法更好的效果,从而宣告模糊控制的诞生.1980年丹麦的L.P.Holmblad和Ostergard在水泥窑炉采用模糊控制并取得了成功,这是第一个商业化的有实际意义的模糊控制器。 事实上,模糊理论应用最有效.最广泛的领域就是模糊控制,模糊控制在各种领域出人意料的解决了传统控制理论无法解决的或难以解决的问题,并取得了一些令人信服的成效。 模糊理论是以模糊集合(fuzzy set)为基础，其基本精神是接受模糊性现象存在的事实，而以处理概念模糊不确定的事物为其研究目标，并积极的将其严密的量化成计算机可以处理的讯息，不主张用繁杂的数学分析即模型来解决模型。模糊控制理论主要研究内容:模糊控制的稳定性研究、模糊模型及辩识、模糊最优控制、模糊自组织控制、模糊自适应控制、多模态模糊控制 。如将智能控制与传统控制方法相结合,产生了模糊变结构控制(FVSC),自适应模糊控制(AFC),自适应神经网络控制(ANNC),神经网络变结构控制(NNVAC),神经网络预测控制(ANNPC),模糊预测控制(FPC),专家模糊控制(EFC),模糊神经网络控制(FNNC),专家神经网络控制(ENNC)等方法。 模糊控制的基本思想:把人类专家对特定的被控对象或过程的控制策略总结成一系列以IF(条件)THEN(作用)形式表示的控制规则,通过模糊推理得到控制作用集,作用于被控对象或过程.控制作用集为一组条件语句,状态语句和控制作用均为一组被量化了的模糊语言集,如正大,负大,正小,负小,零等。信息简单的模糊处理将导致系统的控制精度降低和动态品质变差.若要提高精度则必然增加量化级数,从而导致规则搜索范围扩大,降低决策速度,甚至不能实时控制. 模糊控制的设计尚缺乏系统性,无法定义控制目标.控制规则的选择,论域的选择,模糊集的定义,量化因子的选取多采用试凑发,这对复杂系统的控制是难以奏效的。 模糊理论是指用到了模糊集合的基本概念或连续隶属度函数的理论。模糊理论大致的分类。主要有五个分支： 1、模糊数学，它用模糊集合取代经典集合从而扩展了经典数学中的概念；2、模糊逻辑与人工智能，它引入了经典逻辑学中的近似推理，且在模糊信息和 近似推理的 基础上开发了专家系统； 3、模糊系统，它包含了信号处理和通信中的模糊控制和模糊方法； 4、不确定性和信息，它用于分析各种不确定性； 5、模糊决策，它用软约束来考虑优化问题。 模糊控制的主要缺陷: 1.模糊控制的设计尚缺乏系统性，这对复杂系统的控制是难以奏效的。所以如何建立一套系统的模糊控制理论，以解决模糊控制的机理、稳定性分析、系统化设计方法等一系列问题； 2.如何获得模糊规则及隶属函数即系统的设计办法，这在目前完全凭经验进行； 3.信息简单的模糊处理将导致系统的控制精度降低和动态品质变差。若要提高精度则必然增加量化级数，从而导致规则搜索范围扩大，降低决策速度，甚至不能实时控制； 4.如何保证模糊控制系统的稳定性即如何解决模糊控制中关于稳定性和鲁棒性问题。模糊理论一产生就在数学领域本身及其他领域得到了广泛的应用到世纪年代,已经形成了具有完整体系和鲜明特点的“模糊拓扑学”,框架日趋成熟的“模糊随机数学”,“模糊分析学”,“模糊逻辑理论”以及专著虽少但相关论文却非常丰富的“ 模糊代数理论”等。这些理论的形成与发展极大地丰富和完善了模糊数学的内容。模糊逻辑是模糊理论中的重要研究方向,它的最大成功是其在控制论中的应用。但是,模糊逻辑在理论上的研究还远远不够深人,也没有形成自身独有的理论体系,其研究的思路基本上还是沿着二值逻辑的体系来展开的,所以难免要受到一些学者的怀疑或疑惑。展开这类讨论无论是对模糊逻辑还是对模糊数学本身的发展都是非常有益的,这是模糊逻辑强大生命力的表现,同时也进一步促进这一领域学者从理论上更深人系统地研究相关的论题。模糊技术已渗透到自然科学、社会科学及工程技术的几乎全部领域，像电力、电子、核物理、石油、化工、机械、冶金、能源、材料、交通、医疗、卫生、林业、农业、地质、地理、地震、建筑、水文、气象、环保、管理、法律、教育、心理、体育、军事和历史等领域，都有其成功应用的范例。模糊技术将成为21世纪的核心技术。 自提出模糊理论以来，模糊理论己经成为一种重要的智能信息处理方法。其应用已经遍及自然科学、社会科学和工程技术的各个领域，各种模糊技术成果和模糊产品也逐渐从实验室走向社会并取得显著的社会效益。在当今社会,模糊技术对于人类社会的进步必将发挥其更加巨大的作用。六、专家系统理论概述 人工智能工程系统是人工智能原理的工程应用。近年来，人工智能工程系统取得了迅速的发展，并正逐渐渗透到社会生活中的各个领域。各种不同人工智能工程系统的出现，特别是“专家系统”（Expert System）的迅速