信息融合技术.ppt

信息融合技术信息融合技术2021/5/241第一节第一节 概概 述述融合融合(fusion)的概念开始出现于的概念开始出现于70年代初期，当时称之年代初期，当时称之为多源相关、多源合成、多传感器混合或数据融合为多源相关、多源合成、多传感器混合或数据融合(DataFusion)，现在多称之为信息融合，现在多称之为信息融合(InformationFusion)或数据融合。或数据融合。融合是指采集并集成各种信息源、多媒体和多格式信融合是指采集并集成各种信息源、多媒体和多格式信息，从而生成完整、准确、及时和有效的综合信息过程。息，从而生成完整、准确、及时和有效的综合信息过程。数据融合技术结合多传感器的数据和辅助数据库的相关数据融合技术结合多传感器的数据和辅助数据库的相关信息以获得比单个传感器更精确、更明确的推理结果。信息以获得比单个传感器更精确、更明确的推理结果。信息融合是对多种信息的获取、表示及其内在联系进行信息融合是对多种信息的获取、表示及其内在联系进行综合处理和优化的技术。传感器信息融合技术从多信息综合处理和优化的技术。传感器信息融合技术从多信息的视角进行处理及综合，得到各种的视角进行处理及综合，得到各种 信息的内在联系和信息的内在联系和规律，从而剔除无用的和错误的信息，保留正确的和有规律，从而剔除无用的和错误的信息，保留正确的和有用的成分，最终实现信息的用的成分，最终实现信息的优化优化。一、概念一、概念2021/5/242定义定义：将经过集成处理的多传感器信息进行合成，形将经过集成处理的多传感器信息进行合成，形成一种对外部环境或被测对象某一特征的表达方式成一种对外部环境或被测对象某一特征的表达方式。单一传感器只能获得环境或被测对象的部分信息段，单一传感器只能获得环境或被测对象的部分信息段，而多传感器信息经过融合后能够完善地、准确地反映而多传感器信息经过融合后能够完善地、准确地反映环境的特征环境的特征。它也为智能信息处理技术的研究提供了它也为智能信息处理技术的研究提供了新的观念。经过融合的多传感器信息具有以下特征：新的观念。经过融合的多传感器信息具有以下特征：信息的冗余性、互补性、协同性、实时性以及低成本信息的冗余性、互补性、协同性、实时性以及低成本性。多传感器信息融合与经典信号处理方法之间存在性。多传感器信息融合与经典信号处理方法之间存在本质的区别，其关键在于信息融合所处理的多传感器本质的区别，其关键在于信息融合所处理的多传感器信息具有更为复杂的形式，而且可以在不同的信息层信息具有更为复杂的形式，而且可以在不同的信息层次上出现。次上出现。2021/5/243 二、二、国外信息融合技术的发展国外信息融合技术的发展美国国防部三军实验室理事联席会（美国国防部三军实验室理事联席会（JDLJDL）的对信）的对信息融合技术的定义为：信息融合是一个对从单个息融合技术的定义为：信息融合是一个对从单个和多个信息源获取的数据和信息进行关联、相关和多个信息源获取的数据和信息进行关联、相关和综合，以获得精确的位置和身份估计，以及对和综合，以获得精确的位置和身份估计，以及对态势和威胁及其重要程度进行全面及时评估的信态势和威胁及其重要程度进行全面及时评估的信息处理过程；该过程是对其估计、评估和额外信息处理过程；该过程是对其估计、评估和额外信息源需求评价的一个持续精练（息源需求评价的一个持续精练（refinementrefinement）过）过程，同时也是信息处理过程不断自我修正的一个程，同时也是信息处理过程不断自我修正的一个过程，以获得结果的改善。后来，过程，以获得结果的改善。后来，JDLJDL将该定义修将该定义修正为：信息融合是指对单个和多个传感器的信息正为：信息融合是指对单个和多个传感器的信息和数据进行多层次、多方面的处理，包括：自动和数据进行多层次、多方面的处理，包括：自动检测、关联、相关、估计和组合检测、关联、相关、估计和组合。2021/5/244 信息融合技术自信息融合技术自19731973年初次提出以后，经历了年初次提出以后，经历了2020世纪世纪8080年代初、年代初、9090年代初和年代初和9090年代末三次研究热年代末三次研究热潮。各个领域的研究者们都对信息融合技术在所潮。各个领域的研究者们都对信息融合技术在所研究领域的应用展开了研究，取得了一大批研究研究领域的应用展开了研究，取得了一大批研究成果，并总结出了行之有效的工程实现方法。美成果，并总结出了行之有效的工程实现方法。美国在该项技术的研究方面一直处于世界领先地位，国在该项技术的研究方面一直处于世界领先地位，19731973年，在美国国防部资助开发的声纳信号理解年，在美国国防部资助开发的声纳信号理解系统中首次提出了数据融合技术，系统中首次提出了数据融合技术，19881988年，美国年，美国国防部把数据融合技术列为国防部把数据融合技术列为9090年代重点研究开发年代重点研究开发的的2020项关键技术之一。据统计，项关键技术之一。据统计，19911991年美国已有年美国已有5454个数据融合系统引入到军用个数据融合系统引入到军用电子电子系统中去，其系统中去，其中中87%87%已有试验样机、试验床或已被应用。目前已已有试验样机、试验床或已被应用。目前已进入实用阶段。进入实用阶段。2021/5/245 应用人工智能技术（专家系统、神经网络等）解应用人工智能技术（专家系统、神经网络等）解决目标识别、战场态势关联与估计处于应用试验决目标识别、战场态势关联与估计处于应用试验阶段；信息融合仿真试验、测试与评估技术目前阶段；信息融合仿真试验、测试与评估技术目前正在向适应联合作战需求的方向发展，效能评估正在向适应联合作战需求的方向发展，效能评估处于建模阶段。上述技术所形成的信息融合产品处于建模阶段。上述技术所形成的信息融合产品已装备在某些战术、战略系统中。如已装备在某些战术、战略系统中。如全球网络全球网络中心监视与瞄准中心监视与瞄准（GNCSTGNCST）系统是美国空军的新）系统是美国空军的新型情报信息融合处理系统，该系统对信息源几乎型情报信息融合处理系统，该系统对信息源几乎没有限制，可接收无人机（没有限制，可接收无人机（UAVUAV）、）、E-8CE-8C、RC-135RC-135等平台上光电、合成孔径雷达、信号情报侦察装等平台上光电、合成孔径雷达、信号情报侦察装置等各种传感器的近实时信息，将它们消化处理置等各种传感器的近实时信息，将它们消化处理成对作战官兵有用的信息，并以很快的速度和很成对作战官兵有用的信息，并以很快的速度和很高的精度发送给用户。高的精度发送给用户。2021/5/246英国英国BAEBAE系统公司还开发一种被称作系统公司还开发一种被称作分布式数据融合分布式数据融合 （DecentralizedDataFusionDecentralizedDataFusion，DDFDDF）的信息融合新技术。这）的信息融合新技术。这项技术的独特之处在于它采用的是分布式数据融合技术，而传项技术的独特之处在于它采用的是分布式数据融合技术，而传统的数据融合都是集中式的，即所有的信息在一个中心节点完统的数据融合都是集中式的，即所有的信息在一个中心节点完成综合和融合。这样，一旦中心节点遭到攻击，就会破坏整个成综合和融合。这样，一旦中心节点遭到攻击，就会破坏整个系统。但采用系统。但采用DDFDDF技术的系统就不存在这样的问题，因为综合技术的系统就不存在这样的问题，因为综合和融合是在网络中的任何节点上进行的。若一个节点脱离网络，和融合是在网络中的任何节点上进行的。若一个节点脱离网络，其他部分仍会继续工作并共享、综合和融合信息。其他部分仍会继续工作并共享、综合和融合信息。BAEBAE系统公司已成功验证了将地面和空中的分散的传感器组系统公司已成功验证了将地面和空中的分散的传感器组网互联并融合其信息的技术。使传感器网络中的全部数据都被网互联并融合其信息的技术。使传感器网络中的全部数据都被实时地综合和融合到了一幅单一的作战空间态势图中。该公司实时地综合和融合到了一幅单一的作战空间态势图中。该公司在试验中成功在在试验中成功在8 8个节点之间进行了组网互联，这个节点之间进行了组网互联，这8 8个节点包括个节点包括2 2架自主式架自主式UAVUAV、1 1台战场监视雷达、台战场监视雷达、1 1台武器定位雷达、台武器定位雷达、2 2名带名带有电子式双眼望远镜及掌上有电子式双眼望远镜及掌上电脑电脑的士兵和的士兵和2 2名乘坐吉普车在试名乘坐吉普车在试验场上机动的士兵。整个网络可以动态地进行重新布局。一旦验场上机动的士兵。整个网络可以动态地进行重新布局。一旦武器定位雷达检测到武器定位雷达检测到敌敌火炮开火，自主式火炮开火，自主式UAVUAV可立刻得到可立刻得到相关信息，并迅速飞往有关区域进行调查；战场侦察雷达可跟相关信息，并迅速飞往有关区域进行调查；战场侦察雷达可跟踪地面机动目标，即使该目标离开了视线，该雷达仍可对目标踪地面机动目标，即使该目标离开了视线，该雷达仍可对目标保持保持虚拟跟踪虚拟跟踪或或虚拟警戒虚拟警戒；一旦某架；一旦某架UAVUAV飞越了一个飞越了一个不同的传感器，它将把该传感器引入这个网络，从而使单一态不同的传感器，它将把该传感器引入这个网络，从而使单一态势图中的信息更为完备和准确。势图中的信息更为完备和准确。2021/5/247三、信息融合的关键技术三、信息融合的关键技术 数据融合是一种多层次、多方位的处理过程，需要对多种数据融合是一种多层次、多方位的处理过程，需要对多种来源数据进行检测、相关和综合以进行更精确的态势评估。来源数据进行检测、相关和综合以进行更精确的态势评估。数据（或信息）融合系统的根本目标是将传感器得到的数数据（或信息）融合系统的根本目标是将传感器得到的数据（如信号、图像、数量和矢量信息等）、人的输入信息据（如信号、图像、数量和矢量信息等）、人的输入信息以及已有的原始信息转化成关于某种状态和威胁的知识。以及已有的原始信息转化成关于某种状态和威胁的知识。多传感器数据融合通过信号处理技术、图像处理技术、模多传感器数据融合通过信号处理技术、图像处理技术、模式识别技术、估计技术以及自动推理技术等多种技术提高式识别技术、估计技术以及自动推理技术等多种技术提高状态感知能力。该技术广泛用于自动目标识别、敌状态感知能力。该技术广泛用于自动目标识别、敌/我我/中中立方识别（立方识别（IFFNIFFN）处理以及自动状态评估等应用领域，相）处理以及自动状态评估等应用领域，相关的关键技术有：关的关键技术有：多目标跟踪的信息融合技术多目标跟踪的信息融合技术多假定跟踪和相关技术多假定跟踪和相关技术随机数据关连虑波（随机数据关连虑波（PDAFPDAF）技术）技术交互式复合建模交互式复合建模(IMM)(IMM)技术技术目标机动信息处理技术（自适自噪声模型等）目标机动信息处理技术（自适自噪声模型等）非线性滤波技术非线性滤波技术融合结构技术（集中式结构与分布式融合结构技术（集中式结构与分布式结构）结构）相似传感器融合技术（结构、算法和方法）相似传感器融合技术（结构、算法和方法）不不相似的传感器融合技术相似的传感器融合技术传感器对准技术（包括各种类型传感器对准技术（包括各种类型的对准难题及其解决技术）的对准难题及其解决技术）特征融合技术（识别特征融合技术（识别/分类、分类、证明推算、专家系统、神经网络、模糊逻辑、贝斯网络等）证明推算、专家系统、神经网络、模糊逻辑、贝斯网络等）2021/5/248四、意义及应用四、意义及应用信息融合技术的实现和发展以信息电子学的原理、方法、技术为基础。信息融合系统要采用多种传感器收集各种信息，包括声、光、电、运动、视觉、触觉、力觉以及语言文字等。信息融合技术中的分布式信息处理结构通过无线网络无线网络、有线网络有线网络，智能网络智能网络，宽带智能综合数字宽带智能综合数字网络网络等汇集信息，传给融合中心进行融合。除了自然(物理)信息外，信息融合技术还融合社会类信息，以语言文字为代表，涉及到大规模汉语资料库、语言知识的获取理论与方法、机器翻译、自然语言解释与处理技术等，信息融合采用分形分形、混沌混沌、模糊推理模糊推理、人工神经网络人工神经网络等数学和物理的理论及方法。它的发展方向是对非线性、复杂环境因素的不同性质的信息进行综合、相关，从各个不同的角度去观察、探测世界。1 1、在信息电子学领域、在信息电子学领域 2021/5/2492 2、在计算机科学领域、在计算机科学领域 在计算机科学中，目前正开展着并行数据库并行数据库、主动主动数据库数据库、多数据库多数据库的研究。信息融合要求系统能适应变化的外部世界，因此，空间、时间数据库的概念应运而生，为数据融合提供了保障。空间意味着不同种类的数据来自于不同的空间地点不同种类的数据来自于不同的空间地点，时间意味着数据库能随时间的变化适应客观环境的相应变化数据库能随时间的变化适应客观环境的相应变化。信息融合处理过程要求有相应的数据库原理和结构，以便融合随时间、空间变化了的数据。在信息融合的思想下，提出的空间、时间数据库，是计算机科学的一个重要的研究方向。2021/5/24103 3、在自动化领域、在自动化领域以各种控制理论为基础，信息融合技术采用模糊控制模糊控制、智能控制智能控制、进化计算进化计算等系统理论，结合生物、经济、社会、军事等领域的知识，进行定性、定量分析。按照人脑的功能和原理进行视觉、听觉、触觉、力觉、知觉、注意、记忆、学习和更高级的认识过程，将空间、时间的信息进行融合，对数据和信息进行自动解释，对环境和态势给予判定。目前的控制技术，已从程序控制进入了建立在信息融合基础上的智能控制。智能控制系统不仅用于军事，还应用于工厂企业的生产过程控制和产供销管理、城市建设规划、道路交通管理、商业管理、金融管理与预测、地质矿产资源管理、环境监测与保护、粮食作物生长监测、灾害性天气预报及防治等涉及宏观、微观和社会的各行各业。2021/5/2411三、优点三、优点增加了系统的生存能力增加了系统的生存能力扩展了空间覆盖范围扩展了空间覆盖范围扩展了时间覆盖范围扩展了时间覆盖范围提高了可信度提高了可信度降低了信息的模糊度降低了信息的模糊度改善了探测性能改善了探测性能提高了空间分辨率提高了空间分辨率增加了测量空间的维数增加了测量空间的维数2021/5/2412第二节第二节 信息融合的分类和结构信息融合的分类和结构 1 1、组合：由多个传感器组合成平行或互补方式来获得多组数据输、组合：由多个传感器组合成平行或互补方式来获得多组数据输出的一种处理方法，是一种最基本的方式，涉及的问题有输出方式出的一种处理方法，是一种最基本的方式，涉及的问题有输出方式的协调、综合以及传感器的选择。在硬件这一级上应用。的协调、综合以及传感器的选择。在硬件这一级上应用。2 2、综合：信息优化处理中的一种获得明确信息的有效方法。、综合：信息优化处理中的一种获得明确信息的有效方法。例：在虚拟现实技术中，使用两个分开设置的摄像机同时拍摄到一例：在虚拟现实技术中，使用两个分开设置的摄像机同时拍摄到一个物体的不同侧面的两幅图像，综合这两幅图像可以复原出一个准个物体的不同侧面的两幅图像，综合这两幅图像可以复原出一个准确的有立体感的物体的图像。确的有立体感的物体的图像。3 3、融合：当将传感器数据组之间进行相关或将传感器数据与系统、融合：当将传感器数据组之间进行相关或将传感器数据与系统内部的知识模型进行相关，而产生信息的一个新的表达式。内部的知识模型进行相关，而产生信息的一个新的表达式。4 4、相关：通过处理传感器信息获得某些结果，不仅需要单项信息、相关：通过处理传感器信息获得某些结果，不仅需要单项信息处理，而且需要通过相关来进行处理，获悉传感器数据组之间的关处理，而且需要通过相关来进行处理，获悉传感器数据组之间的关系，从而得到正确信息，剔除无用和错误的信息。系，从而得到正确信息，剔除无用和错误的信息。相关处理的目的：对识别、预测、学习和记忆等过程的信息进行综相关处理的目的：对识别、预测、学习和记忆等过程的信息进行综合和优化。合和优化。一、信息融合分类一、信息融合分类2021/5/24135 5、由于信息融合研究内容的广泛性和多样性，目前由于信息融合研究内容的广泛性和多样性，目前由于信息融合研究内容的广泛性和多样性，目前由于信息融合研究内容的广泛性和多样性，目前还没有统一的关于融合过程的分类。还没有统一的关于融合过程的分类。还没有统一的关于融合过程的分类。还没有统一的关于融合过程的分类。(1)(1)(1)(1)按照信息表征层次的分类按照信息表征层次的分类按照信息表征层次的分类按照信息表征层次的分类系统的信息融合相对于信息表征的层次相应分为三系统的信息融合相对于信息表征的层次相应分为三系统的信息融合相对于信息表征的层次相应分为三系统的信息融合相对于信息表征的层次相应分为三类：数据层融合、特征层融合和决策层融合。类：数据层融合、特征层融合和决策层融合。类：数据层融合、特征层融合和决策层融合。类：数据层融合、特征层融合和决策层融合。数据层融合通常用于多源图像复合、图像分折与理数据层融合通常用于多源图像复合、图像分折与理数据层融合通常用于多源图像复合、图像分折与理数据层融合通常用于多源图像复合、图像分折与理解等方面，采用经典的检测和估计方法。特征层融解等方面，采用经典的检测和估计方法。特征层融解等方面，采用经典的检测和估计方法。特征层融解等方面，采用经典的检测和估计方法。特征层融合可划分为两大类：一类是目标状态信息融合，目合可划分为两大类：一类是目标状态信息融合，目合可划分为两大类：一类是目标状态信息融合，目合可划分为两大类：一类是目标状态信息融合，目标跟踪领域的大体方法都可以修改为多传感器目标标跟踪领域的大体方法都可以修改为多传感器目标标跟踪领域的大体方法都可以修改为多传感器目标标跟踪领域的大体方法都可以修改为多传感器目标跟踪方法；另一类是目标特性融合，它实质上是模跟踪方法；另一类是目标特性融合，它实质上是模跟踪方法；另一类是目标特性融合，它实质上是模跟踪方法；另一类是目标特性融合，它实质上是模式识别问题，具体的融合方法仍是模式识别的相应式识别问题，具体的融合方法仍是模式识别的相应式识别问题，具体的融合方法仍是模式识别的相应式识别问题，具体的融合方法仍是模式识别的相应技术。技术。技术。技术。决策层融合是指不同类型的传感器观测同一个目标，决策层融合是指不同类型的传感器观测同一个目标，决策层融合是指不同类型的传感器观测同一个目标，决策层融合是指不同类型的传感器观测同一个目标，每个传感器在本地完成处理，其中包括顶处理、特每个传感器在本地完成处理，其中包括顶处理、特每个传感器在本地完成处理，其中包括顶处理、特每个传感器在本地完成处理，其中包括顶处理、特征抽取、识别或判决，以建立对所观察目标的初步征抽取、识别或判决，以建立对所观察目标的初步征抽取、识别或判决，以建立对所观察目标的初步征抽取、识别或判决，以建立对所观察目标的初步结论。然后通过关联处理、决策层触合判决，最终结论。然后通过关联处理、决策层触合判决，最终结论。然后通过关联处理、决策层触合判决，最终结论。然后通过关联处理、决策层触合判决，最终获得联合推断结果获得联合推断结果获得联合推断结果获得联合推断结果。2021/5/2414 图1 信息融合层次2021/5/2415(2)JDL2)JDL模型模型(Joint Directors of (Joint Directors of LaboratoriesLaboratories，JDL)JDL)和和-JDL-JDL模型模型 该模型将融合过程分为四个阶段：信源处理，第一该模型将融合过程分为四个阶段：信源处理，第一层处理层处理(即目标提取即目标提取)、第二层处理、第二层处理(即态势提取即态势提取)、第三层提取第三层提取(即威胁提取即威胁提取)和第四层提取和第四层提取(即过程提即过程提取取)。模型中的每一个模块都可以有层次地进一步。模型中的每一个模块都可以有层次地进一步分割，并且可以采用不同的方法来实现它们。分割，并且可以采用不同的方法来实现它们。-JDLJDL模型为模型为JDLJDL模型的简化，把模型的简化，把0 0层包含进了层包含进了1 1层，层，4 4层融人其他各层中。层融人其他各层中。2021/5/2416 图2 JDL模型 图3 -JDL模型2021/5/2417(3)按照数据流融合的位置进行分类按照数据流融合的位置进行分类 多传感器融合系统中的一个关键问题是在何处对多传感器融合系统中的一个关键问题是在何处对数据流进行融合。按照融合位置的不同可以将融数据流进行融合。按照融合位置的不同可以将融合结构分为以下三种类合结构分为以下三种类 型：集中式融合、分布式型：集中式融合、分布式多传感器融合和无中心融合结构。对于特定的信多传感器融合和无中心融合结构。对于特定的信息融合应用不可能找到一种最优的融合结构，结息融合应用不可能找到一种最优的融合结构，结构的选择必须综合考虑计算资源、可用的通信带构的选择必须综合考虑计算资源、可用的通信带宽、精度要求、传感器能力等。宽、精度要求、传感器能力等。2021/5/2418 多传感器信息融合之所以被广泛地研究是由于它多传感器信息融合之所以被广泛地研究是由于它与单一传感器信息利用相比具有如下特点：与单一传感器信息利用相比具有如下特点：（1 1）容错性。在单一传感器出现误差或失效的情）容错性。在单一传感器出现误差或失效的情况下，系统仍能正常可靠地工作。况下，系统仍能正常可靠地工作。（2 2）互补性。各传感器除提供对象的共性反映外，）互补性。各传感器除提供对象的共性反映外，还提供与各传感器本身有关的特性反映，因而利还提供与各传感器本身有关的特性反映，因而利用信息融合就能实现不同传感器之间的信息互补，用信息融合就能实现不同传感器之间的信息互补，从而提高信息的利用率、减少系统认识的不正确从而提高信息的利用率、减少系统认识的不正确性。性。（3 3）实时性。能以较少的时间获取更多的信息。）实时性。能以较少的时间获取更多的信息。大大提高系统的识别效率大大提高系统的识别效率。2021/5/2419二、信息融合的结构二、信息融合的结构信息融合的结构分为串联和并联两种信息融合的结构分为串联和并联两种 Sn S2 S1Y1Y2YnC1C2CnYSC1C2Cn(a)串联(b)并联C1，C2，Cn表示n个传感器S1,S2,，Sn表示来自各个传感器信息融合中心的数据y1，y2，yn表示融合中心。2021/5/2420三、信息融合系统结构的实例三、信息融合系统结构的实例一种雷达测量的信息融合结构局部局部处理器处理器局部局部处理器处理器 外部逻辑外部逻辑中央中央处理器处理器传感器信号传感器信号先验信息修正信息先验信息修正信息传感器故障检测系统2021/5/2421第三节第三节 信息融合的一般方法信息融合的一般方法 由多种传感器所获得的客观环境(即被测对象)的多组数据就是客观环境按照某种映射关系映射关系形成的像像，信息融合就是通过像求解原像像求解原像，即对客观环境加以了解。用数学语言描述就是，所有传感器的全部信息，也只能描述环境的某些方面的特征，而具有这些特征的环境却有很多，要使一组数据对应惟一的环境(即上述映射为一一映射)，就必须对映射的原像和映射本身加约束条件，使问题能有惟一的解。嵌入约束法最基本的方法：Bayes估计估计和卡尔曼滤波卡尔曼滤波嵌入约束法、证据组合法、人工神经网络法嵌入约束法、证据组合法、人工神经网络法 一、嵌入约束法一、嵌入约束法2021/5/24221.Bayes估计估计是融合静态环境中多传感器低层数据融合静态环境中多传感器低层数据的一种常用方法。其信息描述为概率分布，适用于具有可加高斯噪声的不可加高斯噪声的不确定性信息确定性信息。假定完成任务所需的有关环境的特征物用向量f表示，通过传感器获得的数据信息用向量d来表示，d和f都可看作是随机向量。信息融合的任务就是由数据d推导和估计环境f。假设p(f，d)为随机向量f和d的联合概率分布密度函数，则p(f|d)表示在已知d的条件下，f关于d的条件概率密度函数p(f|d)表示在已知f 的条件下，d关于f的条件概率密度函数p(d)和p(f)分别表示d和f的边缘分布密度函数已知d时，要推断f，只须掌握p(f|d)即可，即上式为概率论中的Bayes公式，是嵌入约束法的核心。2021/5/2423信息融合通过数据信息数据信息d做出对环境f的推断，即求解p(f|d)。由Bayes公式知，只须知道p(f|d)和p(f)即可。因为p(d)可看作是使p(f|d)p(f)成为概率密度函数的归一化常数，p(d|f)是在已知客观环境变量f的情况下，传感器得到的d关于f的条件密度。当环境情况和传感器性能已知时，p(f|d)由决定环境和传感器原理的物理规律完全确定。而p(f)可通过先验知识先验知识的获取和积累，逐步渐近准确地得到，因此，一般总能对p(f)有较好的近似描述。在嵌入约束法中，反映客观环境和传感器性能与原理的各种约束条件主要体现在p(f|d)中，而反映主观经验知识的各种约束条件主要体现在p(f)中。在传感器信息融合的实际应用过程中，通常的情况是在某一时刻从多种传感器得到一组数据信息d，由这一组数据给出当前环境的一个估计f。因此,实际中应用较多的方法是寻找最大后验估计g，即2021/5/2424即最大后验估计是在已知数据为d的条件下，使后验概率密度p(f)取得最大值得点g，根据概率论，最大后验估计g满足当p(f)为均匀分布时，最大后验估计g满足 此时，最大后验概率最大后验概率也称为极大似然估计。当传感器组的观测坐标一致时，可以用直接法对传感器测量数据进行融合。在大多数情况下，多传感器从不同的坐标框架对环境中同一物体进行描述，这时传感器测量数据要以间接的方式采用Bayes估计进行数据融合。间接法要解决的问题是求出与多个传感器读数相一致的旋转矩阵R和平移矢量H。2021/5/2425在传感器数据进行融合之前，必须确保测量数据代表在传感器数据进行融合之前，必须确保测量数据代表同一实物，即要对传感器测量进行一致性检验。常用同一实物，即要对传感器测量进行一致性检验。常用以下距离公式来判断传感器测量信息的一致：以下距离公式来判断传感器测量信息的一致：式中式中x1和和x2为两个传感器测量信号，为两个传感器测量信号，C为与两个传感为与两个传感器相关联的方差阵，当距离器相关联的方差阵，当距离T小于某个阈值时，两个小于某个阈值时，两个传感器测量值具有一致性。这种方法的实质是剔除传感器测量值具有一致性。这种方法的实质是剔除处于误差状态的传感器信息而保留处于误差状态的传感器信息而保留“一致传感器一致传感器”数据计算融合值。数据计算融合值。2021/5/24262.卡尔曼滤波卡尔曼滤波(KF)用于实时融合动态的低层次冗余传感器数据实时融合动态的低层次冗余传感器数据，该方法用测量模型的统计特性，递推决定统计意义下最优融合数据合计。如果系统具有线性动力学模型，且系统噪声和传感器噪声可用高斯分布的白噪声模型来表示，KF为融合数据提供惟一的统计意义下的最优估计，KF的递推特性使系统数据处理不需大量的数据存储和计算。KF分为分散卡尔曼滤波散卡尔曼滤波(DKF)和扩展卡尔曼滤波扩展卡尔曼滤波(EKF)。DKF可实现多传感器数据融合完全分散化，其优点优点：每个传感器节点失效不会导致整个系统失效。而EKF的优点优点：可有效克服数据处理不稳定性或系统模型线性程度的误差对融合过程产生的影响。嵌入约束法传感器信息融合的最基本方法之一，其缺点缺点：需要对多源数据的整体物理规律有较好的了解，才能准确地获得p(d|f)，但需要预知先验分布p(f)。2021/5/2427二、证据组合法二、证据组合法证据组合法认为完成某项智能任务是依据有关环境某方面的信息做出几种可能的决策几种可能的决策，而多传感器数据信息在一定程度上反映环境这方面的情况。因此，分析每一数据作为支持某种决策证据的支持程度，并将不同传感器数据的支持程度进行组合，即证据组合，分析得出现有组合证据支持程度最大的决策作为信息融合的结果。证据组合法是对完成某一任务的需要而处理多种传感器的数据信息，完成某项智能任务，实际是做出某项行动决策。它先对单个传感器数据信息每种可能决策的支持程度给出度量(即数据信息作为证据对决策的支持程度)，再寻找一种证据组合方法或规则，在已知两个不同传感器数据(即证据)对决策的分别支持程度时，通过反复运用组合规则，最终得出全体数据信息的联合体对某决策总的支持程度。得到最大证据支持决策，即信息融合的结果。2021/5/2428证据组合法较嵌入约束法优点：(1)对多种传感器数据间的物理关系不必准确了解，即无须准确地建立多种传感器数据体的模型；(2)通用性好，可以建立一种独立于各类具体信息融合问题背景形式的证据组合方法，有利于设计通用的信息融合软、硬件产品；(3)人为的先验知识可以视同数据信息一样，赋予对决策的支持程度，参与证据组合运算。常用证据组合方法：l概率统计方法概率统计方法lDempster-Shafer证据推理证据推理利用证据组合进行数据融合的关键关键在于：u选择合适的数学方法描述证据证据、决策决策和支持程度支持程度等概念u建立快速、可靠并且便于实现的通用证据组合算法结构算法结构2021/5/24291.概率统计方法概率统计方法假设一组随机向量x1，x2，xn分别表示n个不同传感器得到的数据信息，根据每一个数据xi可对所完成的任务做出一决策di。xi的概率分布为pai(xi)，ai为该分布函数中的未知参数，若参数已知时，则xi的概率分布就完全确定了。用非负函数L(ai，di)表示当分布参数确定为ai时，第i个信息源采取决策dj时所造成的损失函数。在实际问题中，ai是未知的，因此，当得到xi时，并不能直接从损失函数中定出最优决策。先由xi做出ai的一个估计，记为ai(xi)，再由损失函数L ai(xi),di决定出损失最小的决策。其中利用xi估计ai的估计量ai(xi)有很多种方法。概率统计方法适用于分布式传感器目标识别分布式传感器目标识别和跟踪信跟踪信息融合问题息融合问题2021/5/24302.Dempster-Shafer证据推理证据推理(简称简称D-S推理推理)假设F为所有可能证据所构成的有限集，为集合F中的某个元素即某个证据，首先引入信任函数B(f)0，1表示每个证据的信任程度：从上式可知，信任函数是概率概念的推广，因为从概率论的知识出发，上式应取等号。引入基础概率分配函数m(f)0，1 由基础概率分配函数定义与之相对应的信任函数：2021/5/2431当利用N个传感器检测环境M个特征时，每一个特征为F中的一个元素。第i个传感器在第k-1时刻所获得的包括k1时刻前关于第j个特征的所有证据，用基础概率分配函数表示，其中i=1，2，m。第i个传感器在第k时刻所获得的关于第j个特征的新证据用基础概率分配函数表示。由和可获得第i个传感器在第k时刻关于第j个特征的联合证据。类似地，利用证据组合算法，由和可获得在k时刻关于第j个特征的第i个传感器和第i+1个传感器的联合证据。如此递推下去，可获得所有N个传感器在k时刻对j特征的信任函数，信任度最大的即为信息融合过程最终判定的环境特征。D-S证据推理优点优点：算法确定后，无论是静态还是时变的动态证据组合，其具体的证据组合算法都有一共同的算法结构。但其缺点缺点：当对象或环境的识别特征数增加时，证据组合的计算量会以指数速度增长。2021/5/2432 证据理论是建立在辨识框架基础上的推理证据理论是建立在辨识框架基础上的推理模型，其基本思想如下：模型，其基本思想如下：建立辨识框架；建立辨识框架；建立初始信任度分配；建立初始信任度分配；根据因果关系，计算所有命题的信任度；根据因果关系，计算所有命题的信任度；证据合成；证据合成；根据融合后的信任度进行决策根据融合后的信任度进行决策。2021/5/2433三、人工神经网络法三、人工神经网络法通过模仿人脑的结构和工作原理，设计和建立相应的机器和模型并完成一定的智能任务智能任务。神经网络根据当前系统所接收到的样本的相似性，确定分类标准。这种确定方法主要表现在网络权值网络权值分布上，同时可采用神经网络特定的学习算法学习算法来获取知识，得到不确定性推理机制。神经网络多传感器信息融合的实现，分三个重要步骤：n根据智能系统要求及传感器信息融合的形式，选择其拓扑结构；n各传感器的输入信息综合处理为一总体输入函数，并将此函数映射定义为相关单元的映射函数,通过神经网络与环境的交互作用把环境的统计规律反映网络本身结构；n对传感器输出信息进行学习、理解，确定权值的分配，完成知识获取信息融合，进而对输入模式做出解释，将输入数据向量转换成高层逻辑(符号)概念。2021/5/2434基于神经网络的传感器信息融合特点：u具有统一的内部知识表示形式，通过学习算法可将网络获得的传感器信息进行融合，获得相应网络的参数，并且可将知识规则转换成数字形式，便于建立知识库；u利用外部环境的信息，便于实现知识自动获取知识自动获取及并行联想推理并行联想推理；u能够将不确定环境的复杂关系，经过学习推理学习推理，融合为系统能理解的准确信号；u由于神经网络具有大规模并行处理信息能力，使得系统信息处理速度很快。2021/5/2435人工神经网络具有分布式存储和并行处理方式、自组织和自学习的功能以及很强的容错性和鲁棒性等优点。将神经网络用于多传感器信息融合技术，首先要根据系统的要求以及传感器的特点选择合适的神经网络模 型，然后再对建立的神经网络系统进行离线学习。确定 网络的联接权值和联接结构，最后把得到的网络用于实际的信息融合当中。小波分析具有良好的信号时域局部化特征，能处理信号的局部特征信息。将小波分析引入遥感数据融合，是目前正在探索的课题之一。由于处理对象和处理过程的复杂性，而且每种方法都有自己的适用范围，目前还没有一套系统的方法可以很好地解决多传感器融合中出现的所有问题。比较理想的解决方案就是多种融合方法的综合使用。2021/5/2436第四节第四节 信息融合的实例信息融合的实例一一.信息融合的民事应用领域信息融合的民事应用领域u工业过程监视及工业机器人工业过程监视及工业机器人u遥感与金融系统遥感与金融系统u空中交通管制与病人照顾系统空中交通管制与病人照顾系统u船舶避碰与交通管制系统船舶避碰与交通管制系统u生物特征的身份识别生物特征的身份识别二二.信息融合技术军事上的应用信息融合技术军事上的应用u采用多传感器的自主式武器系统和自备式运载器采用多传感器的自主式武器系统和自备式运载器u情报收集系统情报收集系统u采用多传感器进行截获、跟踪和指挥制导的火控系统采用多传感器进行截获、跟踪和指挥制导的火控系统u军事力量的指挥和控制站军事力量的指挥和控制站u敌情指示和预警系统敌情指示和预警系统2021/5/2437三三.传感器信息融合的实例传感器信息融合的实例1.1.机器人中的传感器信息融合机器人中的传感器信息融合 控制和信息融合计算机自主移动装配机器人装配机械手力觉传感器触觉传感器视觉传感器超声波传感器激光测距传感器 多传感器信息融合自主移动装配机器人2021/5/24382.2.舰船上的传感器信息融合舰船上的传感器信息融合 行扫描处理器红外探测器 直流偏压AGC搜索器万向支架惯性导航系统图像摄像机万向支架图像处理共享存储器数据融合处理器环境控制显示记录人机界面图像摄像机传感器 海军舰船传感器信息融合系统2021/5/2439传感器信号处理ADC单片机显示2021/5/2440四四.发展方向发展方向 虽然信息融合的应用研究已是如此广泛，但至今仍未形成基本的理论框架和有效的广义融合模型及算法。正在进行的研究有新算法的形成、己有算法的改进以及如何综合这些技术 以形成统一的结构用于多样的信息融合应用。建立融合系统的关键技术和难点是如何获得可 靠的隶属度和基本概率赋值等。另外，信息融合学科一直缺少对算法的严格的测试或评价，以及如何在理论和应用之间进行转