模式识别.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,.,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,.,*,模式识别,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,模式识别,1,.,课程简介,本课程是硕士研究生,模式识别与智能系统,学科,专业必修课,。,模式识别,是研究用计算机自动识别事物的一门科学，其目的是用机器完成类似于人类智能通过视觉、听觉等感官去识别外界环境所进行的工作，它包括语音识别、图像识别等典型应用。,人工神经网络,是一种基于大量,神经元,广泛互联的数学模型，具有自学习、自组织、自适应的特点，与模式识别有密切的关系，在优化计算，信号处理，智能控制等众多领域也得到广泛的应用。,2,.,课程简介,本课程主要介绍,统计模式识别、神经网络,的理论与方法及其相关应用。要求学生了解模式识别的基本概念，掌握基本原理和基本方法；了解计算机分类识别事物和计算机分析数据的概念及基本方法，了解神经网络的原理及其在模式识别中的应用。,先修课程：线性代数，概率论与数理统计，程序设计基础,3,.,教材与教学参考书,模式识别（第三版），张学工主编，清华大学出版社，,2010,模式识别（第二版），边肇祺，张学工等，清华大学出版社，,2000,模式识别，李晶皎，赵丽红等编著，电子工业出版社，,2010,模式识别原理、方法及应用，,J,P,Marques de sa,，清华大学出版社，,2002,。,模式识别，杨光正等，中国科学科技大学出版社，,2003,。,Neural Network Design,，,Martin T.Hagan,，机械工业出版社，,2002,。,神经网络模式识别及其实现，潘蒂（美），电子工业出版社，,1999,。,4,.,主要期刊,IEEE Trans.on PAMI,，,1978-,，,IEEE Computer Society,Pattern Recognition,，,1968-,，,PR Society,Elsevier,Pattern Recognition Letter,，,1980-,，,IAPR,Elsevier,Machine Learning,，,Neural Computation,，,IEEE Trans.On NN,Int.Journal of PR and AI,1988-(World Scientific),Pattern Analysis and Applications,1997-(Springer),Int.J.Document Analysis&Recognition,1998-,模式识别与人工智能,中国图像与图形学学报,5,.,主要会议,系列性国际会议,ICPR,：,2,年一次，,1000,人规模,ICCV,：,2,年一次，,1000,人规模,CVPR,：每年一次在美国，,1000,人规模,ICDAR,：,2,年一次，,300-400,人规模,其他,ICASSP,ICIP,ICML,6,.,课程内容目录,1,模式识别概述,2,Bayes,决策理论,3,概率密度函数的估计,4,线性判别分析,5,非线性分类器,6,其它分类方法,7,特征提取与选择,8,非监督模式识别,7,.,教学,及考核方式,讲课,+,讨论,期末考试,8,.,第一章 模式识别概述,9,.,Contents,例子,1,：医生诊病过程,1),测量病人的体温和血压，化验血沉，询问临床表现；,2),通过综合分析，抓住主要病症；,3),医生运用自己的知识、经验，根据主要病症、测量化验结果，作出正确的诊断。,在模式识别技术中，常用的术语有：样本、模式、特征、类型等等，对照医生诊病过程，有：,a.,样本：,医院里的众多患者，每个患者都是一个样本；,单一样本：,医生诊断的某一患者，就是样本空间中的一个单一样本；,样本值：,某一患者的化验、检查结果与表征现象。,例子,1,：医生诊病过程,b.,模式：,各样本值按一定的数据准则综合的结果；,模式样本：,具有某种模式的样本；,模式采集：,获取某样本的测量数值的过程；,c.,特征：,患者某些具有显著特征的化验数据及表征；,特征选择与提取：,能表征,(,疾病,),特异性的化验结果与表征；,d.,判决：,医生运用知识、病例经验综合分析给出诊断；,判决准则,/,规则：,医生的知识,判决结果：,将患者明确,(,或以概率,),确定为某一种病症,(,或多种,/,并发病症,),的患者,(,及病患严重程度,),医生诊病过程,事实上，最后的结果也成为分类。因此有预先知道类别,(,已知病症,),与未知类别,(,未知病症,),的区别。,模式识别：,就是以计算机为工具、各种传感器为信息来源，数据计算与处理为方法，对各种现象、事物、状态等进行准确地分析、判断识别与归类。,1.1,模式识别和模式的概念,感知：从环境获取信息,模式,Pattern,存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。,模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。,模式的直观特性,:,可观察性,可区分性,相似性,1.1,模式识别和模式的概念,模式（,Pattern,）,实例,计算机模式识别,模式识别,：使计算机模仿人的感知能力，从感知数据中提取信息（判别,物体和行为,）的过程。,数据获取,模式分割,模式识别,姚明,ROCKETS,11,概念,模式识别和模式的概念,Pattern recognition,is the study of how machines can observe the environment,learn to,distinguish patterns,of interest from their background,and,make,sound and reasonable,decisions,about the categories of the patterns.(Anil K.Jain,),概念,模式识别,直观，无所不在，“,人以类聚，物以群分”,周围物体的认知：桌子、椅子,人的识别：张三、李四,声音的辨别：汽车、火车，狗叫、人语,气味的分辨：炸带鱼、红烧肉,人和动物的模式识别能力是极其平常的，但对计算机来说却是非常困难的。,模式识别和模式的概念,模式识别的难点,数字化感知数据：来源丰富、数量巨大,概念,模式识别的难点,感知数据：非结构化（像素、声波等）,概念,模式与模式类,样本,(,sample,object,),：一类事物的一个具体体现，对具体的个别事物进行,观测,所得到的某种形式的,信号,。,模式,(pattern),：表示一类事物，如印刷体,A,与手写体,A,属同一模式。,B,与,A,则属于不同模式。,样本是具体的事物，而模式是对同一类事物概念性的概括。,模式类,与模式联合使用时，模式表示具体的事物，而模式类则是对这一类事物的概念性描述。,模式识别是从,样本,到,类别,的映射,。,概念,模式识别和模式的概念,Watanabe defines a,pattern,“as opposite of a chaos;it is an entity,vaguely defined,that,could be given a name,.”,a fingerprint image,a handwritten cursive word,a human face,a speech signal,概念,模式识别的发展,1929,年,G.Tauschek,发明阅读机，能够阅读,0-9,的数字。,30,年代,Fisher,提出统计分类理论,奠定了统计模式识别的基础。因此，在,60,70,年代，,统计模式识别,发展很快，但由于被识别的模式愈来愈复杂，特征也愈多，就出现“,维数灾难,”。随着计算机运算速度的迅猛发展，这个问题得到一定克服。目前，统计模式识别仍是模式识别的主要理论。,50,年代,Noam Chemsky,提出,形式语言理论，,在此基础上，美籍华人付京荪 提出,句法结构模式识别,。,60,年代,L.A.Zadeh,提出了,模糊集理论,，,模糊模式识别,理论得到了较广泛的应用。,模式识别的发展,80,年代,Hopfield,提出,神经元网络模型,理论。近些年人工神经元网络在模式识别和人工智能上得到较广泛的应用。,90,年代 小样本学习理论，,支持向量机,也受到了很大的重视。,1973,年,IEEE,发起了第一次关于模式识别的国际会议“,ICPR”,，成立了国际模式识别协会,-“IAPR”,，每,2,年召开一次国际学术会议；,1977,年,IEEE,的计算机学会成立了模式分析与机器智能（,PAMI,）委员会，每,2,年召开一次模式识别与图象处理学术会议；,国内的组织有电子学会，通信学会，自动化协会，中文信息学会,.,。,模式识别的发展,模式识别的应用领域更加广泛：,生物、医学、军事、农业、工业、社会、教育、航天、航空、经济、金融、生物认证、数字水印,基于语音：,重点人物通信监控语音识别系统,/,规模音频资料检索,基于图像：,光学字符识别,(Optical Character Recognition OCR)/,车牌识别,(Vehicle License Plate Recognition VLPR)/,人脸识别,/,指纹识别,/,签名认证,/,支票认证,/,表情和手势识别,/,农作物分类与害虫识别,/,生物信息学：,DNA,识别,/,航空与卫星遥测遥感数据资源调查,/,军用目标的图像识别,/,基于图形模式识别的机器人控制等,基于工程数据：,振动模式分析与故障诊断,/,石油钻井数据分析与事故预报,/,基于状态模式的智能控制,/,数据挖掘与知识发现等,模式识别的发展,模式识别的计算手段更加先进：,海量存储技术、高速计算,/,并行计算技术、,网格技术、网络技术、,新型前端器件,(,激光、红外、,MEMS,、传感器网络,),模式识别的新型算法层出不穷：,Computation with word(Zadeh),Soft Computation,DNA Computation,国内外模式识别的学术活动从未间断,:,小波,/,模式识别国际会议、机器学习,/,模式识别国际会议、图像处理,/,模式识别国际会议、数据挖掘,/,模式识别国际会议,模式识别与其他学科的关系,概念,模式识别学科位置,模式识别：计算机科学与电子工程交叉学科,中国：“控制科学与工程”一级学科,二级学科：控制理论与控制工程、,模式识别与智能系统,、系统工程等,西方：没有自动控制系,自动控制：电子工程系、机械工程系,模式识别：电子工程系、计算机科学系,主要组织,国际组织,IAPR(I,nternational Association for Pattern Recognition),IEEE Computer Society:TC on PAMI(Pattern Analysis and Machine Intelligence),国内组织,中国自动化学会：模式识别与机器智能,(PRMI),专业委员会，,1981,年成立，,IAPR,成员组织,中国计算机学会：人工智能与模式识别专业委员会,中国人工智能学会,主要机构,国外,USA:MIT(Poggio),UIUC(Thomas Huang),CMU(T.Kanade),MSU(A.K.Jain),Maryland(Resenfeld,Chellappa),Canada:Toronto(Hinton),Concordia(C.Y.Suen),UK:Surrey(Kittler),MSR Cambridge(Bishop),France:INRIA,国内,MSRA(,微软亚洲研究院,),HKUST(,香港科技大学,),中科院自动化所、清华大学、北京大学、上海交大、西安交大、南京理工大学、武汉大学等,模式识别系统的原理框图,1.2,模式识别系统,1.2,模式识别系统,数据获取,预处理,特征提取与选择,分类决策,分类器设计,信号空间,特征空间,模式识别系统的组成,系统,模式识别过程实例,在传送带上用光学传感器件对鱼按品种分类,鲈鱼,(Seabass),鲑鱼,(Salmon),鲈鱼,鲑鱼,数据获取：架设一个摄像机，采集一些样本图像，获取样本数据,预处理：去噪声，用一个分割操作把鱼和鱼之间以及鱼和背景之间分开,模式识别过程实例,特征提取和选择：对单个鱼的信息进行特征选择，从而通过测量某些特征来减少信息量,长度,亮度,宽度,鱼翅的数量和形状,嘴的位置，等等,分类决策：把特征送入决策分类器,模式识别过程实例,模式识别过程实例,模式识别过程实例,模式识别过程实例,模式识别过程实例,模式识别过程实例,模式识别过程实例,模式识别研究内容,数据预处理,视频、图像、信号处理,模式分割,模式,/,背景分离、模式,-,模式分离,运动分析,目标跟踪、运动模式描述,模式描述与分类,特征提取,/,选择、模式分类、聚类、机器学习,模式识别应用研究,针对具体应用的方法与系统,系统,1.3,模式识别的方法,模版匹配法,(Templete matching),统计方法,(Statistical pattern recognition),：,1950s-,神经网络方法,(,Neural network,),：,1980s-,结构方法,(,Structural pattern recognition),：,1970s-,支持向量机、核方法：,1990s-,多分类器、集成学习：,1990s-,Bayes,学习：,1990s-,1990s-:,模式识别技术大规模应用,模版匹配,首先对每个类别建立一个或多个模版,输入,样本,和数据库中每个类别的,模版,进行,比较,，例如求,相关,或,距离,根据相似性（相关性或距离）大小进行决策,优点：直接、简单,缺点：适应性差,扩展：弹性模版法,方法,统计方法,根据训练样本，建立,决策边界,(decision boundary),统计决策理论,根据每一类总体的,概率分布,决定决策边界,判别式分析方法,给出带参数的决策边界，根据某种准则，由训练样本决定,“,最优,”,的参数,方法,句法方法,许多复杂的模式可以分解为简单的子模式，这些子模式组成所谓,“,基元,”,每个模式都可以由基元根据一定的关系来组成,基元可以认为是语言中的词语，每个模式都可以认为是一个句子，关系可以认为是语法,模式的相似性由句子的相似性来决定,1970s,由付京荪,(K.S.Fu,Purdue Univ.),提出,优点：适合结构性强的模式,缺点：抗噪声能力差，计算复杂度高,方法,神经网络,进行大规模并行计算的数学模型,具有学习、推广、自适应、容错、分布表达和计算的能力,优点：可以有效的解决一些复杂的非线性问题,缺点：缺少有效的学习理论,方法,几种方法比较,方法,表达方式,识别函数,评价准则,模版匹配,样本，像元，曲线,相关，距离度量,分类错误,统计方法,特征,决策函数,分类错误,句法方法,基元,规则，语法,接受错误,神经网络,样本，像元，特征,网络函数,均值方差错误,方法,神经网络和统计模式识别的关系,统计模式识别,人工神经网络,线性决策函数,感知机,PCA,自相关网络，,PCA,网络,后验概率估计,多层感知机,非线性决策分析,多层感知机,Parzen,窗密度估计分类器,径向基函数网络,K,近邻,Kohonen,s LVQ,方法,1.4,模式识别应用,文本,图像,分析，文本分类,语音识别,工业自动化：零部件,/,物品分类,数据挖掘,多媒体,数据检索（文档、图像、视频、音乐检索）,生物特征,识别，生物信息学，医学图像,空间探测与环境资源检测，遥感图像,安全监控（身份识别、视频监控、交通监控、音视频监听）,生物特征识别,应用,遥感图像地表分类,应用,医学图像分析,应用,车牌识别,应用,信函分拣,应用,实例：统计模式识别,19,名男女同学进行体检，测量了身高和体重，但事后发现其中有,4,人忘记填写性别，试问（在最小错误的条件下）这,4,人是男是女？体检数值如下,：,待识别的模式：性别（男或女）,测量的特征：身高和体重,训练样本：,15,名已知性别的样本特征,目标：希望借助于训练样本的特征建立判别函数（即数学模型）,由训练样本得到的特征空间分布图,从图中训练样本的分布情况，找出男、女两类特征各自的聚类特点，从而求取一个判别函数（直线或曲线）。,只要给出待分类的模式特征的数值，看它在特征平面上落在判别函数的哪一侧，就可以判别是男还是女了。,奥卡姆剃刀原理,14,世纪逻辑学家、圣方济各会修士奥卡姆的威廉提出一个原理“如无必要，勿增实体”，杀鸡焉用宰牛刀，在多种实现方法中提倡选择最简单的假设和模型，尽量不要把问题复杂化，尽力把没用的和会把问题复杂化的因素去掉。,1.5,有关模式识别的若干问题,没有免费的午餐定理,该定理指出：没有最好的算法，每种算法总有它的优势和缺陷。,NFL,定理可简单表述为：对于所有可能的问题，任意给定两个算法,A,，,A,，,如果,A,在某些问题上表现得比,A,好，那么,A,在其他问题上表现一定比,A,差。,该定理隐含指出：任何一种分类算法甚至不比搜索空间的线性列举或者纯随机搜索算法更优。,1.5,有关模式识别的若干问题,丑小鸭定理,20,世纪,60,年代，美籍日本学者渡边慧证明了“丑小鸭定理”。定理说：丑小鸭和白天鹅之间的区别和两只白天鹅之间的区别一样大。这个看起来完全违背常识的定理实际上说的是：世界上不存在分类的客观标准，一切分类的标准都是主观的。,1.5,有关模式识别的若干问题,渡边慧举了一个鲸鱼的例子：按照生物学的分类方法，鲸鱼属于哺乳类的偶蹄目，和牛是一类；但是在产业界，鲸和鱼同属于水产业，而不属于包括牛的畜牧业。分类结果取决于选择什么特征作为分类标准，而,特征的选择又依存于人的目的,。,丑小鸭是白天鹅的幼雏，在画家的眼里，丑小鸭和白天鹅的区别大于两只白天鹅的区别；但是在遗传学家的眼里，丑小鸭与其父亲或母亲的差别小于父母之间的差别。,1.5,有关模式识别的若干问题,由此引出的一个问题是，,事物有没有“本质”？,一个苹果，牛顿看到的是它的质量，遗传学家看到的是它的染色体中的,DNA,序列，美食家关心的是它的味道，画家看到的是它的颜色和形状，孔融还可能关注其大小并从中看出道德因素。,这里面没有谁对谁错的问题，所以不可能知道苹果的“本质”是什么。在说到“本质”的时候，充其量说的只是“我认为最重要的特征”，只代表个人的立场。,1.5,有关模式识别的若干问题,习题,试简述样本，模式和模式类等概念间的关系,试简述模式识别系统的主要组成部分,试简述先验概率，类条件概率密度函数和后验概率等概念间的关系,