人工智能不确定性推理.ppt

1不确定性人工智能不确定性人工智能4.1 4.1 不确定性推理基本理论不确定性推理基本理论4.2 4.2 可信度方法可信度方法4.3 4.3 主观主观BayesBayes方法方法4.4 D-S4.4 D-S证据理论证据理论4.5 4.5 模糊集理论模糊集理论2 2不确定性的产生与来源不确定性的产生与来源来自人类的主观认识与客观实际之间存来自人类的主观认识与客观实际之间存在的差异在的差异产生原因产生原因事物发生的事物发生的随机性随机性人类知识的不完全、不可靠、不精确人类知识的不完全、不可靠、不精确和不一致和不一致自然语言中存在的自然语言中存在的模糊性模糊性和歧义性和歧义性 3 3不确定性（狭义）不确定性（狭义）不确定性不确定性(uncertainty)(uncertainty)就是一个命题就是一个命题(亦即亦即所表示的事件所表示的事件)的真实性不能完全肯定，的真实性不能完全肯定，而只能对其为真的可能性给出某种估计。而只能对其为真的可能性给出某种估计。例例如果乌云密布如果乌云密布 电闪雷鸣，则可能要下暴雨。电闪雷鸣，则可能要下暴雨。如果头痛发烧，则大概是患了感冒。如果头痛发烧，则大概是患了感冒。4 4不确切性（模糊性）不确切性（模糊性）不确切性不确切性(imprecision)(imprecision)就是一个命题中所出就是一个命题中所出现的某些言词其涵义不够确切，从概念角度讲，也就现的某些言词其涵义不够确切，从概念角度讲，也就是其代表的概念的内涵没有硬性的标准或条件，其外是其代表的概念的内涵没有硬性的标准或条件，其外延没有硬性的边界，即边界是软的或者说是不明确的。延没有硬性的边界，即边界是软的或者说是不明确的。例例 小王是个小王是个高个子高个子。张三和李四是张三和李四是好朋友好朋友。如果向左转，则身体就向左如果向左转，则身体就向左稍倾稍倾。5 5自然界中的不确定现象自然界中的不确定现象l随机随机l模糊模糊l混沌混沌l分形分形l复杂网络复杂网络6 6随机性随机性(偶然性偶然性)和随机数学和随机数学v以贝叶斯公式为基础的贝叶斯理论以贝叶斯公式为基础的贝叶斯理论,在人工智能中一直在人工智能中一直是处理不确定性的重要工具是处理不确定性的重要工具v带可信度的不确定推理带可信度的不确定推理v证据理论证据理论引入信任函数和似然函数来描述命题的不确定性引入信任函数和似然函数来描述命题的不确定性当先验概率已知时当先验概率已知时,证据理论就变成了概率论证据理论就变成了概率论模糊性模糊性(非明晰性非明晰性)和模糊数学和模糊数学v模糊集合论模糊集合论,隶属度隶属度v粗糙集理论粗糙集理论vVague Vague 集理论集理论通过对模糊对象赋予真、假隶属函数通过对模糊对象赋予真、假隶属函数,从正、反两个方面来处理从正、反两个方面来处理模糊性模糊性随机性和模糊性是不确定性的基本内涵随机性和模糊性是不确定性的基本内涵7 7混混 沌沌 混混沌沌是是一一种种确确定定性性系系统统中中出出现现的的类类似似随随机机的的过过程程。因因为为很很难难对对初初值值确确定定得得非非常常精精确确，近近似似相相同同的的初初值值产产生生很很不不相相同同的的貌貌似似随随机机的的结结果果。初初值值敏敏感感性性导导致致过过程程的不确定性和不可预测性。的不确定性和不可预测性。蝴蝶效应：亚马逊河热带雨林中的蝴蝶效应：亚马逊河热带雨林中的一只蝴蝶扇动了两下翅膀，可能两周之一只蝴蝶扇动了两下翅膀，可能两周之后会引发美国德克萨斯州的一场龙卷风。后会引发美国德克萨斯州的一场龙卷风。“失之毫厘，差之千里失之毫厘，差之千里”。初始条件。初始条件的微小的差别能引起结果的巨大的差异。的微小的差别能引起结果的巨大的差异。8 8复杂网络复杂网络:Internet:Internetv具有小世界效应和无尺度特性具有小世界效应和无尺度特性9 9不确定性不确定性认知的不确定性感知的不确定记忆的不确定性思维的不确定性知识本身的不确定性1010思维的不确定性思维的不确定性 思维有精确的一面，更有不思维有精确的一面，更有不 确定的一面。确定的一面。人类习惯于用自然语言进行思维，思维的结果人类习惯于用自然语言进行思维，思维的结果往往是可能如何、大概如何等定性的结论。往往是可能如何、大概如何等定性的结论。人类还擅长通过联想的、直觉的、创造的人类还擅长通过联想的、直觉的、创造的形象思维来思考，很少象计算机一样做精确的形象思维来思考，很少象计算机一样做精确的数学运算或者逻辑推理，但是这并不妨碍人类数学运算或者逻辑推理，但是这并不妨碍人类具有发达的、灵活的智能，并不妨碍人类具有具有发达的、灵活的智能，并不妨碍人类具有发达的、灵活的模式识别能力。发达的、灵活的模式识别能力。11114.1 4.1 不确定性推理基本理论不确定性推理基本理论为什么要研究不确定性推理？为什么要研究不确定性推理？现实世界的问题求解大部分是不良结构现实世界的问题求解大部分是不良结构;对不良结构的知识描述具有不确定性对不良结构的知识描述具有不确定性:1)1)问题证据问题证据(初始事实初始事实,中间结论中间结论)的不确定性的不确定性;2)2)专门知识专门知识(规则规则)的不确定性的不确定性.1212不不确确定定性性推推理理是是指指从从不不确确定定性性的的初初始始证证据据出出发发，通通过过运运用用不不确确定定性性的的知知识识，最最终终推推理理出出具具有有一一定定程程度度的的不不确确定定性性，但但又又是是合合理理或或者者似乎合理的结论的思维过程。似乎合理的结论的思维过程。什么是不确定性推理什么是不确定性推理 1313不确定性推理中的基本问题不确定性推理中的基本问题 在不确定性推理中在不确定性推理中,知识和证据都具有某种程知识和证据都具有某种程度的不确定性度的不确定性,这就为推理机的设计与实现增加这就为推理机的设计与实现增加了复杂性和难度。除了要解决推理方向、推理方了复杂性和难度。除了要解决推理方向、推理方法、控制策略等基本问题外，还需要解决以下问法、控制策略等基本问题外，还需要解决以下问题题 ：不确定性的表示和量度不确定性的表示和量度 不确定性匹配不确定性匹配 不确定性的传递算法不确定性的传递算法 不确定性的合成不确定性的合成1414不确定性的表示与量度不确定性的表示与量度l知识不确定性的表示知识不确定性的表示在确立其表示方法时在确立其表示方法时,有两个直接相关的因素需有两个直接相关的因素需要考虑要考虑:1)1)要能根据领域问题的特征把其不确定性比较要能根据领域问题的特征把其不确定性比较准确地描述出来准确地描述出来,满足问题求解的需要满足问题求解的需要;2)2)要便于推理过程中对不确定性的推算要便于推理过程中对不确定性的推算.证据不确定性的表示证据不确定性的表示 在推理中在推理中,有两种来源不同的证据有两种来源不同的证据:1)1)一种是用户在求解问题时提供的初始证据一种是用户在求解问题时提供的初始证据;2)2)另一种是在推理中用前面推出的结论作为当另一种是在推理中用前面推出的结论作为当前推理的证据前推理的证据.1515确定度量方法和范围的原则确定度量方法和范围的原则l度量要充分表达相应知识及证据不确定性程度。度量要充分表达相应知识及证据不确定性程度。l度量范围的指定应便于领域专家及用户对不确定度量范围的指定应便于领域专家及用户对不确定性的估计。性的估计。l度量要便于对不确定性的传递和计算，对结论算度量要便于对不确定性的传递和计算，对结论算出的不确定性度量不能超出度量规定范围。出的不确定性度量不能超出度量规定范围。l度量的确定是直观的，同时应有相应理论基础。度量的确定是直观的，同时应有相应理论基础。1616不确定性匹配不确定性匹配l对于不确定性推理对于不确定性推理,由于知识和证据都具有不确定性由于知识和证据都具有不确定性,而而且知识所要求的不确定性与证据实际具有的不确定性程且知识所要求的不确定性与证据实际具有的不确定性程度不一定相同，因而就出现度不一定相同，因而就出现“怎样才算匹配成功怎样才算匹配成功”的问的问题题l对于这个问题对于这个问题,目前常用的解决方法是：目前常用的解决方法是：设计一个算法用来计算匹配双方相似的程度设计一个算法用来计算匹配双方相似的程度,另外再指另外再指定一个相似的定一个相似的 限度限度,用来衡量匹配双方相似的程度是否用来衡量匹配双方相似的程度是否落在指定的限度内落在指定的限度内.如果落在指定的限度内如果落在指定的限度内,就称它们是就称它们是可匹配的可匹配的,相应知识可被应用相应知识可被应用.用来计算匹配双方相似程度的算法称为不确定性匹配算用来计算匹配双方相似程度的算法称为不确定性匹配算法法.用来指出相似的用来指出相似的 限度限度 称为阈值称为阈值.1717不确定性推理的一般算法不确定性推理的一般算法 根根据据规规则则前前提提E E的的不不确确定定性性C(E)C(E)和和规规则则强强度度f(Hf(H，E)E)求求出出假假设设H H的的不不确确定定性性C(H)C(H)，即即定定义义一一函函数数g g1 1，使使C(H)=gC(H)=g1 1C(E),f(H,E)C(E),f(H,E)根据分别由独立的证据根据分别由独立的证据E E1 1和和E E2 2,求得的假设求得的假设H H的不确的不确定性定性C C1 1(H)(H)和和C C2 2(H)(H)，求得证据，求得证据E E1 1和和E E2 2的组合所导致的假设的组合所导致的假设的不确定性的不确定性C(H)C(H)，即定义一函数，即定义一函数g g2 2，使，使C(H)=gC(H)=g2 2CC1 1(H),C(H),C2 2(H)(H)根根据据两两个个证证据据E E1 1和和E E2 2的的不不确确定定性性C(EC(E1 1)和和C(EC(E2 2)，求求出出证证据据E E1 1和和E E2 2的的合合取取E E1 1 E E2 2的的不不确确定定性性，即即定定义义一一函函数数g g3 3，使使C(EC(E1 1 E E2 2)=g)=g3 3C(EC(E1 1),C(E),C(E2 2)根根据据两两个个证证据据E E1 1和和E E2 2的的不不确确定定性性C(EC(E1 1)和和C(EC(E2 2)，求求出出证证据据E E1 1和和E E2 2的的析析取取的的不不确确定定性性，即即定定义义函函数数g g4 4，使使C(EC(E1 1 E E2 2)=g)=g4 4C(EC(E1 1),C(E),C(E2 2)1818不确定性推理与通常的确定性推理的差别：(1)(1)不确定性推理中规则的前件能否与证据事实匹配不确定性推理中规则的前件能否与证据事实匹配成功，不但要求两者的符号模式能够匹配（合一），而且要求成功，不但要求两者的符号模式能够匹配（合一），而且要求证据事实所含的信度必须达证据事实所含的信度必须达“标标”，即必须达到一定的限度。，即必须达到一定的限度。这个限度一般称为这个限度一般称为“阈值阈值”。(2)(2)不确定性推理中一个规则的触发，不仅要求其不确定性推理中一个规则的触发，不仅要求其前提能匹配成功，而且前提条件的总信度还必须至少达到阈值。前提能匹配成功，而且前提条件的总信度还必须至少达到阈值。(3)(3)不确定性推理中所推得的结论是否有效，也取不确定性推理中所推得的结论是否有效，也取决于其信度是否达到阈值。决于其信度是否达到阈值。(4)(4)不确定性推理还要求有一套关于信度的计算方法，不确定性推理还要求有一套关于信度的计算方法，包括包括“与与”关系的信度计算、关系的信度计算、“或或”关系的信度计算、关系的信度计算、“非非”关系的信度计算和推理结果信度的计算等等。关系的信度计算和推理结果信度的计算等等。THANK YOUSUCCESS2024/5/7 周二19可编辑2020不确定性推理模型不确定性推理模型l不确定性推理模型没有一个统一的模型，种类不计其数，不确定性推理模型没有一个统一的模型，种类不计其数，其中比较著名的有：其中比较著名的有：lShortliffeShortliffe在在19751975年结合医疗专家系统年结合医疗专家系统MYCINMYCIN建立的确定建立的确定性理论性理论 lDudaDuda在在19761976年结合探矿专家系统年结合探矿专家系统PROSPECTORPROSPECTOR建立的主观建立的主观BayesBayes推理推理 lDempster ShaferDempster Shafer在在19761976年提出的证据理论年提出的证据理论 lZadehZadeh在在19781978年提出的可能性理论，年提出的可能性理论，19831983年提出的模糊逻年提出的模糊逻辑和逻辑推理辑和逻辑推理 lNilssonNilsson在在19861986年提出的概率逻辑年提出的概率逻辑 lPearlPearl在在19861986年提出的信任网络年提出的信任网络 2121 确定因子法（可信度方法）确定因子法（可信度方法）主观主观BayesBayes方法方法 证据理论证据理论 可能性理论可能性理论 粗集理论粗集理论 批注理论批注理论 不确定性推理的方法不确定性推理的方法2222确定因子法的缺点确定因子法的缺点l（1 1）如何将人表示可信度的术语转变为数字化的）如何将人表示可信度的术语转变为数字化的CFsCFs。例如，人的经验规则常涉及例如，人的经验规则常涉及 很可能很可能、不大可能不大可能 等术等术语，应对应到多大的语，应对应到多大的CFCF值。值。（2 2）如何规范化人们对可信度的估计，不同人所作的估）如何规范化人们对可信度的估计，不同人所作的估计往往相差较大。计往往相差较大。（3 3）为防止积累误差，需指定门槛值，但多大合适呢？为防止积累误差，需指定门槛值，但多大合适呢？太小固然不行，但太大也不好，因为可信度的传递需要太小固然不行，但太大也不好，因为可信度的传递需要累计较小的变化。累计较小的变化。（4 4）为改进可信度的精确性，需提供从系统的实际执为改进可信度的精确性，需提供从系统的实际执行反馈的信息，并基于反馈信息调整可信度。这实际上行反馈的信息，并基于反馈信息调整可信度。这实际上是一种机器学习问题，尚未较好地加以解决是一种机器学习问题，尚未较好地加以解决。23234.4 4.4 证据理论证据理论 证证据据理理论论是是由由DempsterDempster和和他他的的学学生生ShaferShafer共共同同提提出出来来的的一一种种不不确确定定性性推推理理模模型型，所所以以也也称称为为D-SD-S证证据据理理论论。证证据据理理论论可可以以满满足足比比概概率率更更加加弱弱的的公公理理体体系系，当当概概率率值值已已知知的的时时候候，证证据据理理论论就就变变成成为为概率论了。概率论了。证据的不确定性证据的不确定性 设设U U的的幂幂集集2 2U U上上定定义义了了一一个个基基本本概概率率赋赋值值函函数数m m：2 2U U 0,10,1，使使满满足足 ，基本概率赋值函数，基本概率赋值函数m(A)m(A)表示了证据对表示了证据对U U的子集的子集A A成立的一种信任程度。成立的一种信任程度。2424 信任函数：信任函数定义为 似然函数：似然函数定义为 信任函数与似然函数的关系 2525证据理论基本思想证据理论基本思想 (1)(1)用一个概率范围而不是简单的概率值来模拟不确定性。用一个概率范围而不是简单的概率值来模拟不确定性。(2)(2)引入信任函数引入信任函数BelBel和似然函数和似然函数Pl.Pl.(3)(3)用区间用区间(Bel(A),Pl(A)(Bel(A),Pl(A)表示证据表示证据A A的不确定度量的不确定度量 2626证据理论证据理论1 1、样本空间、样本空间 设设D D是是变变量量x x的的所所有有可可能能取取值值的的集集合合，且且D D中中的的元元素是互斥的，则称素是互斥的，则称D D为为x x的样本空间。的样本空间。D D中的任意一个子集都对应于一个关于中的任意一个子集都对应于一个关于x x的命题。的命题。若若D D有有n n个元素，则个元素，则2 2D D表示表示D D的的2 2n n个子集。个子集。27272 2、概率分配函数、概率分配函数 设设D D为样本空间，有映射函数为样本空间，有映射函数 M(x):2M(x):2D D0,10,1，且满足，且满足 M()=0M()=0 M(A)=1 M(A)=1 A DA D则则称称M(x)M(x)是是2 2D D上上的的概概率率分分配配函函数数。M(A)M(A)称称为为命命题题A A的基本概率数。它是命题的基本概率数。它是命题A A的信任度。的信任度。28283 3、信任函数、信任函数（1 1）定义）定义 设设D D为样本空间，有映射函数为样本空间，有映射函数 Bel(x):2Bel(x):2D D0,10,1，且满足，且满足 Bel(A)=M(B),Bel(A)=M(B),对所有的对所有的A2A2D D B A B A 则称则称Bel(x)Bel(x)为信任函数或下限函数。为信任函数或下限函数。Bel(A)Bel(A)表示对命题表示对命题A A为真的信任程度（支持度）。为真的信任程度（支持度）。2929（2 2）性质）性质 Bel()=M()=0Bel()=M()=0 Bel(D)=M(B)=1 Bel(D)=M(B)=1 B D B D 3030例例3 3、设、设D=D=红、黄、蓝红、黄、蓝，且，且M(M(红红)=0.3)=0.3，M(M(黄黄)=0)=0，M(M(蓝蓝)=0.1)=0.1，M(M(红红，黄黄)=0.2)=0.2，M(M(红红，蓝蓝)=0.2)=0.2，M(M(黄黄，蓝蓝)=0.1)=0.1，M(M(红红，黄黄，蓝蓝)=0.1)=0.1求求Bel(A)Bel(A)3131解：解：Bel(Bel(红红)=M()=M(红红)=0.3)=0.3Bel(Bel(红，黄红，黄)=M()=M(红红)+M()+M(黄黄+M(+M(红，黄红，黄)=0.3+0+0.2=0.5 =0.3+0+0.2=0.53232Bel(Bel(红，黄，蓝红，黄，蓝)=M()=M(红红)+M()+M(黄黄)+M()+M(蓝蓝+M(M(红，黄红，黄)+M()+M(红，蓝红，蓝)+M()+M(黄，蓝黄，蓝)+)+M(M(红，黄，蓝红，黄，蓝)=0.=0.+.1+0.2+0.2+0.1+0.1.1+0.2+0.2+0.1+0.1 =1 =13333、似然函数、似然函数Pl:2Pl:2D D0,10,1，且，且 Pl(A)=1-Bel(Pl(A)=1-Bel(A)A)对对所所有有的的A2A2D DBel(A)Bel(A)表示对表示对A A为非假的程度。为非假的程度。Pl(A)Pl(A)：A A的最大信任度（合情度）的最大信任度（合情度）f(A)=Bel(A)+|A|/|U|(Pl(A)-Bel(A)f(A)=Bel(A)+|A|/|U|(Pl(A)-Bel(A)f(A):A f(A):A的不确定性的不确定性3434例、对于例，求例、对于例，求Pl(A)Pl(A)Pl(Pl(红红)=1-Bel()=1-Bel(红红)=1-Bel()=1-Bel(黄黄，蓝蓝)=1-M(=1-M(黄黄)+)+M(M(蓝蓝)+)+M(M(黄黄，蓝蓝)=1-(0+0.1+0.1)=1-(0+0.1+0.1)=0.8 =0.83535Pl(Pl(黄，蓝黄，蓝)=1-Bel()=1-Bel(黄，蓝黄，蓝)=1-Bel()=1-Bel(红红)=1-0.3=0.7=1-0.3=0.73636Thanks.THANK YOUSUCCESS2024/5/7 周二37可编辑