多媒体信息检索技术(课堂PPT).ppt

单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,多媒体信息检索技术与方法,基于内容的图像检索技术,基于文本的信息检索方法,1,多媒体检索 概念理解,多媒体检索是一种基于内容特征的检索（,CBR,：,content-based retrieval,）。所谓基于内容的检索是对媒体对象的内容及上下文语义环境进行检索，,如图像中的颜色、纹理、形状，视频中的镜头、场景、镜头的运动，声音中的音调、响度、音色等。,基于内容的检索突破了传统的基于文本检索技术的局限，直接对图像、视频、音频内容进行分析，抽取特征和语义，利用这些内容特征建立索引并进行检索。,在这一检索过程中，它主要以图像处理、模式识别、计算机视觉、图像理解等学科中的一些方法为部分基础技术，,是多种技术的合成。,2,多媒体检索的 特点,(1),相似性检索：,CBR,采用一种近似匹配（或局部匹配）的方法和技术逐步求精来获得查询和检索结果，摒弃了传统的精确匹配技术，避免了因采用传统检索方法所带来的不确定性。,(2),直接从内容中提取信息线索：,CBR,直接对文本、图像、视频、音频进行分析，从中抽取内容特征，然后利用这些内容特征建立索引并进行检索。,(3),满足用户多层次的检索要求：,CBR,检索系统通常由媒体库、特征库和知识库组成。媒体库包含多媒体数据，如文本、图像、音频、视频等；特征库包含用户输入的特征和预处理自动提取的内容特征；知识库包含领域知识和通用知识，其中的知识表达可以更换，以适应各种不同领域的应用要求。,(4),大型数据库,(,集,),的快速检索：,CBR,往往拥有数量巨大、种类繁多的多媒体数据库，能够实现对多媒体信息的快速检索。,3,基于内容的多媒体信息检索体系结构,媒体数据,特征提取,目标标识,媒体库,特征库,知识库,知识辅助,用户,查询接口,检索引擎,索引,/,过滤,数据库特征,提取子系统,数据库查询,子系统,4,多媒体信息检索过程,用户需求,媒体资源,内容查询,内容索引,匹配,5,多媒体信息检索分类,文本检索,多媒体检索,图像检索,视频检索,音频检索,6,基于内容的图像检索,-,图像检索的过程就是图像特征的提取、分析及匹配。,特征提取：提取各种特征，如颜色，纹理，形状等。根据提取的特征不同，采取不同的处理，比如提取形状特征，就需要先进行图像分割和边缘提取等步骤。选择合适的算法，并在效率和精确性方面加以改进，以适应检索的需要，实现特征提取模块。,特征分析：对图像的各种特征进行分析，选择提取效率高、信息浓缩性好的特征，或者将几种特征进行组合，用到检索领域。,特征匹配：选择何种模型来衡量图像特征间的相似度。,7,*基于内容的图像检索工作原理,图像特征库,数字图像源,用户,相关反馈,图像检索,特征提取,图像索引,8,基于内容的图像索引技术：,图像特征,提取技术,颜色特征,纹理特征,形状特征,图,像,索,引,主,要,技,术,颜色直方图、颜色矩,颜色集、颜色聚合向量,、颜色相关图,Tamura,纹理特征,自回归纹理模型,基于小波变换的纹理特征,傅里叶性状描述符,形状无关矩,其他形状特征,空间关系特征,基于图像分割的方法,基于图像子块方法,9,图像颜色特征,颜色特征是在图像检索中应用最为广泛的视觉特征，主要原因在于颜色往往和图像中包含的物体或场景十分相关。此外，与其他特征相比，颜色特征计算简单，同时对图像本身的尺寸、方向、视角的依赖性较小，具有较好的紧致性。,10,，定义如下：,其中,ni,为图像中颜色取值为,i,的像素个数，,N,为像素总数，,K,为可能的颜色取值范围。这样计算得到的颜色直方图就是一个,K,维的特征向量。颜色直方图所描述的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空间位置，所以特别适合描述那些不需要考虑特定物体空间位置的图像内容。,颜色特征,颜色直方图,11,颜色特征,颜色矩,这种方法的数学基础在于图像中的任何颜色分布均可用他的矩来表示。由于颜色分布信息主要集中在低阶矩中，所以只采用颜色的一阶矩、二阶矩和三阶矩就可以表达图像的颜色分布。与颜色直方图比较，该方法的一个好处就是无需对于特征进行量化。设,pij,是图像中第,j,个像素的第,i,个颜色分量，则该颜色分量上矩的计算如下：,图像的颜色矩一共有九个分量，每个颜色通道均有三个低阶矩。颜色矩仅仅使用少数几个矩，从而导致过多的虚警，因此颜色矩常和其他特征结合使用。,12,颜色特征,颜色集,为了提高检索的速度，,Smith,和,Chang,提出了用颜色集的方法，首先将,RGB,颜色空间转换成视觉均衡的颜色空间（,HSV,），并将颜色空间量化成若干个,bin,，然后运用颜色自动分割技术将图像分为若干个区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达成一个二进制的颜色索引表。在图像匹配中，比较不同图像颜色集之间的距离和颜色区域的空间关系。因为，颜色集表达为二进制的特征向量，可以构造二分查照树来加快检索速度，对大规模的图象集合十分有力。,13,颜色特征,颜色聚合向量,针对颜色直方图和颜色矩无法表达图像色彩的空间位置的缺点，,Pass,提出了图像的颜色聚合向量（,color coherence vector,）。它是颜色直方图的一种演变，其核心思想是将属于直方图每一个,bin,的像素进行分为两部分：如果该,bin,内的某些像素所占据的连续区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则作为非聚合像素。由于包含了颜色分布的空间信息，颜色聚合向量相比颜色直方图可以达到更好的检索效果。,14,颜色特征,颜色相关图,颜色相关图（,color correlogram,）是图像颜色分布的另一种表达方式。这种特征不但刻画了某一种颜色的像素数量占整个图像的比例，还反映了不同颜色对之间的空间相关性。实验表明，颜色相关图比颜色直方图和颜色聚合向量具有更高的检索效率，特别是查询空间关系一致的图像。,如果考虑到任何颜色之间的相关性，颜色相关图会变得非常复杂和庞大,(,空间复杂度为,O(N2d),。一种简化的变种是颜色自动相关图（,color auto-correlogram,），它仅仅考察具有相同颜色的像素间的空间关系，因此空间复杂度降到,O(Nd),。,15,纹理特征,纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。但是，纹理特征也有其缺点，一个很明显的缺点是当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差。另外，由于有可能受到光照、反射情况的影响，从,2-D,图像中反映出来的纹理不一定是,3-D,物体表面真实的纹理。,16,纹理特征,Tamura,纹理特征,基于对纹理的视觉感知心理学研究，,Tamura,等人提出了纹理特征的表达方法。,Tamura,纹理特征的,6,个分量对应于心理学角度的纹理特征的,6,种属性，分别是粗糙度（,coarseness,）、对比度（,contrast,）、方向度（,directionality,）、线像度（,linelikeness,）、规整度（,regularity,）、粗略度（,roughness,），其中粗糙度、方向度和对比度在检索中最为重要。在,Tamura,表示中的所有纹理性质都是有意义的，与人的主观感受比较吻合，这使得,Tamura,纹理表示在图象检索中非常具有吸引力，而且可提供一个更有友好的用户界面。,17,形状特征,形状是描述图像内容的一个重要特征。它常与目标联系在一起，又一定的语义含义，因而可以看作是比颜色或纹理要高层一些的特征。但另一方面，对形状的表达比对颜色或纹理的表达从本质上要复杂得多，常需要先对图像进行分割。由于当前的技术无法做到准确和通用的自动图像分割，图像检索中的形状特征只能在特定应用场合使用。在这些应用中，利用特定领域知识可以从图像中分割获得包含的目标（物体或区域）。,18,形状特征,一般来说，形状特征有两种表示方法，一种是轮廓特征，一种是区域特征。前者适用于对形状边界的描述，而后者则适用于表达形状包含的整个区域。这两类形状特征的最典型方法分别是傅立叶描述符（,Fourier Descriptor,）和形状无关矩（,Moment Invariants,）。,19,形状特征,傅立叶描述符,傅立叶描述符的主要思想是将经过傅立叶变换后的边界作为形状特征。从轮廓上的任一点开始绕轮廓一周可以定义一个复数序列：,对其进行离散傅立叶变换，就得到轮廓的傅立叶描述：,在此基础上，文献提出了一种改进的傅立叶算法，这种算法不仅对噪音具有很好的鲁棒性，而且对几何变换具有不变性，更加适合图像检索的需要。,20,图像空间关系特征,图像空间关系特征主要用来描述图像中的对象或者物体。在图像处理过程中有时会出现上面的特征相似的情况，此时就需要利用空间关系来描述图像,图像空间关系特征的提取通常有两种方法：一种是现对图像进行自动分割，划分出图像中所包含的对象或者颜色区域，然后根据这些颜色区域来对图像进行索引；另一种是将图像均匀的划分若干个规则的子块，然后针对每个图像子块分别提取特征并建立索引,21,基于内容的图像检索方法,基于图例的,图像检索方法,外部图像查询,内部图像查询,草图查询,综合检索方法,利用检索系统外部图像进行检索,查询提问的图像是检索系统,内部的图像,用户先画出一幅草图，再根据草,图在系统中查询自己想要的图像,现有的图像检索系统通常都是,综合利用上述方法,22,图像综合检索方法示意图,草图,数字图像,抽象特征,用户输入,草图检索,外部图像检索,直接检索,浏览,图像综合检索示意图,图像,图像,图,像,23,图像相似度比较方法,基于内容的图像检索是通过计算查询与候选图像之间视觉特征的相似度来完成。在对图像内容进行描述的时候主要采用特征向量的方式，因此，常用的图像相似度比较方法也是基于向量空间模型的，可以将向量特征看作是向量空间中的点，通过计算两点之间的接近程度来衡量图像之间的相似度。常用的图像相似度比较方法如下：,直方图相交、二次距离、马氏距离、欧拉距离、非几何的相似度方法,24,相关反馈,相关反馈是一种查询逐步求精技术，最初用于文本检索系统中，主要特点是将用户引入查询过程，根据用户的反馈信息调整查询要求，从而进一步优化查询结果，直到用户满意为止。用户的参与使系统能更好地揣测用户的意图，也使得在低层可视特征和高层语义概念之间建立某种联系成为可能。,图象检索中的相关反馈方法大致可以分为两种类型：参数调整方法和机器学习方法,25,基于内容的图像检索系统举例,IMEDIA,IMEDIA,按照数据库的内容划分为五个功能系统。,Visual Retrieval(generalist databases),、,Visual Retrieval(biodiversity collections),、,Visual Retrieval with relevance feedback,（,satellite images,）、,partial visual queries(local descriptors),和,3D retrieval,26,27,IMEDIA,之,Visual Retrieval,图像库,Visual Retrieval(generalist databases),和,Visual Retrieval(biodiversity collections),的界面是基本一致的，但是,Visual Retrieval(biodiversity collections),更加专业，主要是生物学图像库。下面以,Visual Retrieval(biodiversity collections),为例介绍一下该系统的界面操作。,28,Visual Retrieval(biodiversity collections),界面示意图,29,利用,fadeback mode,检索的结果,30,该系统的最上角是,settings,系统设置按钮，用来设置系统参数。,点击设置按钮 将进入一个设置面板，如下：,31,IMEDIA,之,Visual Retrieval with relevance feedback,（,satellite images,）图像库,在这个库中存放的都是地图卫星照片，可以进行地理图像检索,32,显示与原图之间的数值距离,显示的是图片出自的数据库,显示图片名字,33,IMEDIA,之,partial visual queries(local descriptors),图像库,该数据库支持点模式，选择摸个图像之后就可以启动点模式，在点模式下，用户可以进行图像区域检索。,支持点模式检索,34,IMEDIA,之,3D retrieval,图像库,该库中主要存储,3D,图像。,该库不支持各种扩展检索,35,补充一点基于文本检索的方法的小技巧,以,Google,为例,Google,用减号“,-”,表示逻辑“非”操作。“,A B”,表示搜索包含,A,但没有,B,的网页。,示例：“搜索引擎 历史,-,文化,-,中国历史,-,世界历史”,36,Google,用大写的“,OR”,表示逻辑“或”操作。搜索“,A OR B”,，意思就是说，搜索的网页中，要么有,A,，要么有,B,，要么同时有,A,和,B,。,实例：“搜索引擎现状 百度,OR,蜘蛛,OR,北大天网,-,文化,-,历史”,37,Google,对搜索的网站进行限制,“,site”,表示搜索结果局限于某个具体网站或者网站频道，如“,”,、“,”,，或者是某个域名，如“,”,、“,com”,等等。如果是要排除某网站或者域名范围内的页面，只需用“,-,网站,/,域名”。,示例：搜索新浪新闻中心（,）上关于凤凰女跳楼案的新闻报道。,搜索：“凤凰女跳楼,site:”,38,39,Google,在某一类文件中查找信息,“,filetype:”,是,Google,开发的非常强大实用的一个搜索语法。也就是说，,Google,不仅能搜索一般的文字页面，还能对某些二进制文档进行检索。目前，,Google,已经能检索微软的,Office,文档如,.xls,、,.ppt,、,.doc,，,.rtf,，,WordPerfect,文档，,Lotus1-2-3,文档，,Adobe,的,.pdf,文档，,ShockWave,的,.swf,文档（,Flash,动画）等。其中最实用的文档搜索是,PDF,搜索。,示例：搜索几个资产负债表的,Office,文档。,搜索：“资产负债表,filetype:doc OR filetype:xls OR filetype:ppt”,40,41,Google,搜索的关键字包含在,URL,链接中,“,inurl”,语法返回的网页链接中包含第一个关键字，后面的关键字则出现在链接中或者网页文档中。,示例：查找,MIDI,曲“沧海一声笑”。,搜索：“,inurl:midi“,沧海一声笑”,注意：“,inurl:”,后面不能有空格，,Google,也不对,URL,符号如“,/”,进行搜索。例如，,Google,会把“,cgi-bin/phf”,中的“,/”,当成空格处理。,42,43,Google,搜索的关键字包含在网页标题中,“,intitle”,和“,allintitle”,的用法类似于上面的,inurl,和,allinurl,，只是后者对,URL,进行查询，而前者对网页的标题栏进行查询。网页标题，就是,HTML,标记语言,title,中之间的部分。网页设计的一个原则就是要把主页的关键内容用简洁的语言表示在网页标题中。因此，只查询标题栏，通常也可以找到高相关率的专题页面。,示例：查找日本明星藤原纪香的照片集。,搜索：“,intitle:,藤原纪香,写真集,”,44,45,Thank You!,46,