第11章-多媒体信息检索.ppt

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,多媒体信息检索,主要内容：,1,、多媒体检索的意义和方法,2,、图像信息的检索和利用,3,、视频信息的检索和利用,4,、音频信息的检索和利用,第一节 多媒体信息检索的意义和方法,一、多媒体信息检索的概念和意义,(,一,),多媒体信息检索的概念,1.,多媒体信息的,特征元数据提取、索引建库,2.,相似度匹配运算,，识别和返回用户所需信息,3,.,通过与用户之间的反馈,，不断,优化、调整,显示结果,(,二,),多媒体信息检索兴起的意义,多媒体信息的优势、视频网站的兴起、国内外的研究热点,二、多媒体数据库结构与标引,1,、多媒体数据库结构,（,1,）面向对象的关系数据模型,关系数据库中存储了多媒体对象的位置信息，如关键词、文本标题、数据的存储路径及名称等描述信息,（,2,）纯粹面向对象模型,OODB,，利用,ODQL,语言实现数据库的查询，在,SQL,功能的基础之上增加了适合基于内容检索的机制，如复杂的信息建模能力。,（,3,）关系,+,面向对象模型,对象,-,关系型数据库（,Object Relational,Database,ORDB,），在原有关系型数据库基础上增加描述非文本、非结构化数据的对象类和相应的对象支持功能，利用大二进制对象（,BLOB,）来存储和管理多媒体对象，以使数据库系统可以满足跨平台和不同媒体对象的应用,二、多媒体数据库结构与标引,2,、多媒体数据库标引,（,1,）依外在特征的标引法,标签法,将多媒体信息某些显著的外在特征作为索引标识。,优劣分析：,显而易见，避免了内容分析的繁琐与艰难，相对简单。,但缺乏直观性，加重了用户的认知负担，若外部特征不明显或难以确定时，则难以行通。,二、多媒体数据库结构与标引,2,、多媒体数据库标引,（,2,）以内容分析为主的标引方法,编码系统法：采用某种特定的编码系统来标识多媒体信息中分析出来的各个独立对象，并根据对象间存在的联系进行相应的代码拼接、组合，以完成多媒体信息的整体标引。,自由文本法（报告法）：利用自然语言的特点，将图像、声音等多媒体信息的内容用文字进行描述，揭示其内在的各种语义联系、时空关联性等，形成描述性的自由文本。然后，通过对该文本内容的概念进行标引，间接地完成对原多媒体信息记录内容的标引。,特征描述法：从图像、声音等多媒体信息中捕获人们感觉最明显的特征，如图像的形状、颜色，音乐的基调、序曲等主要特征，直接建立相应的“相似图像,”,索引与“相似声音,”,索引以便于描述和标引多媒体信息，是一种为人们所习惯使用的方法。,二、多媒体数据库结构与标引,2,、多媒体数据库标引,（,3,）全方位语义分析法,基本原理：,强调内容特征与外在特征相结合，从整体到局部，从各个角度为各个对象建立全面的特征标引；并利用语义分析的方法，将各个部分、各个对象之间丰富的语义联系描绘成语义图的形式，一起存储在数据库中，从而建立多媒体数据库最全面、最精确的标引系统。,基本过程：,a,，从整体到局部，进行特征抽取；,b,，根据语义分析法建立相应语义联系；,c,，绘制相应的语义图。,三、多媒体信息检索的方法、原理及优劣分析,(,一,),基于文本的多媒体信息检索方法,原理：,人工建立元数据标引，,其本质与纯文本信息的检索并无二致,。,普及程度：,是现行网络检索系统中的主流方式。,检索方式：,信息分类、扩展名、关键字段,优劣分析,优势,：实现原理相对简单，技术成熟,劣势,：具有主观性，仁者见仁、智者见智。,多媒体信息的多维性，人工描述难以穷尽。,(,二,),基于内容的多媒体信息检索,原理：,特征量化，表示成向量空间，建立索引库，将用户提问转化成向量，并与已有信息的向量空间进行相似度匹配计算。,常用文件特征：,图像：,颜色、纹理及时空关系等,视频：,对象运动特征、颜色和光线变化等,音频：,时域、频域、时频特征和音频片段,等,普及程度：,局限在较小的数据集合上，大多只是实验室研究成果,优劣分析,优势：源于多媒体内容本身的特征信息，具有,客观性,劣势：复杂度高,语言鸿沟,选取好的特征的难度大、特征的量化、建模、建立向量空间复杂。,讨论：此处的“语言鸿沟”应作何理解？,比较基于文本的多媒体检索方法和基于内容的多媒体检索方法的优劣？,第二节 图像信息的检索与利用,一、图像信息检索的原理,(,一,),原理,：,1.,提取其颜色、形状、纹理，以及对象空间关系等信息，建立图像的特征索引库,2.,检索匹配,(,二,),特征提取方法,：,彩相关曲线图、边缘密度比较和灰度图像量化,(,三,),用户查询过程的表达,:,Q=I,Q,F,Q,S,Q,Z,Q,I,Q,代表从数据库中选择图像,F,Q,代表图像特征的选取,S,Q,代表相似度计算,Z,Q,代表一组总体语义的标签,二、常见的图像检索工具,QBIC(Query,By Image Content),IBM,的产品,WebSEEK,persia.ee.columbia.edu:8008/,TinEye,、,Titomo,、,VAST,、,ImageRover,、,Scour,视频信息的检索与利用,一、视频信息检索的原理和过程,(,一,),原理：,片段划分、特征提取、索引建库,(,二,),常用方法：,基于属性、基于对象,(,三,),常用特征,：,颜色、纹理、形状、空间联系、原始语义、显示、客观属性、主观属性、动作、文本和领域概念,(,四,),过程阶段：,数据库建立阶段,视频检索阶段,二、常见的视频检索工具,VisualSeek,Informedia,-II Digital Video Library,Google Video Search,、,Yahoo Video Search,、,Open V,、,VideoQ,音频信息检索与利用,一、图像检索的原理,(,一,),图像检索的方法,同音,(Simile),比较,听觉或知觉特征的提取,个人语言的主观特征描述,拟声法,(,二,),原理：基于内容的声音检索,(Content-Based Audio Retrieval),主要步骤,选取音频的响度、音调、音强、带宽、音长和音色等特征予以量化，利用分析技术将大量的声音数据减少为一小组变量；,将音频信息的,N,个特征表示为,N,维向量，并将听觉属性对应到不同的向量空间；,计算并存储每个属性在不同向量空间中的均值、方差、自相关度和音长，完成对音频信息的识别、分类和检索,(,三,),常用特征：,响度、音调、音强、带宽、音长和音色等。,基于内容的音频检索系统结构示意图,二、常见的音频检索工具,上海交通大学的音乐数据库检索系统,