多媒体数据库系统.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,.,*,多媒体数据库系统,.,多媒体数据库系统概述,真实世界,设计者的映射,表示法,传统数据库,计算机的世界,.,表示法,多媒体数据库,图像,声音,视频,多媒体数据管理,真实世界,投影,计算机的世界,.,1.,数据库的组织和存储,媒体数据的数据量大,媒体间的差异极大,只有设计好适合的物理结构和逻辑结构，才能保证磁盘的充分利用和应用的快速存取。,信息系统范围的扩大,别指望在一个站点上就存储上万兆的数据，必须通过网络加以分布。,多媒体数据库设计中面临的问题,.,2.,媒体种类的增加,每一种多媒体数据类型要有自己的一组最基本的操作和功能。,每一种多媒体数据类型要有自己的,适当的数据结构以及存取方式。,要求多媒体数据库管理系统能够不断扩充新的媒体类型及其,相应的操作方法。新增加的媒体类型对用户应该是透明的。,多媒体数据库设计中面临的问题,.,3.,数据库的查询问题,非精确匹配和相似性查询将占相当大的比重。,同一个对象若用不同的媒体进行表示，对计算机来说,肯定也是不同的。,若用同一种媒体表示，如果有误差，在计算机看来也,是不同的。,诸如颜色和形状等本身就是不容易精确描述的概念,。,多媒体数据库不再是只通过字符进行查询，而应该,是通过媒体的语义进行查询。但对一些媒体会因为应用,的不同和观察者的不同而产生不同多媒体数据库设计中面临的问题,.,4.,用户接口的支持,多媒体数据库的用户接口肯定不能用一个表格来描述。,对空间的描述以及对时间的描述。多媒体要求开发浏览、,查找和变更多媒体数据库内容的新方法。,用户有时甚至不知道自己要查找什么，不知道如何描述自,己的查询。,多媒体数据库对用户的接口要求不仅仅是接受用户的描述，,而是要协助用户描述出他的想法，找到他所要的内容，并在接,口上表现出来。,多媒体数据库设计中面临的问题,.,5.,信息的分布对多媒体数据库体系的影响,以全球网络为基础的分布。,多媒体数据库系统要考虑如何从万维网的信息空间中寻,找信息，查询所要的数据。,6.,处理长事务增多,短事务不能满足需要，如从动态视频库中提取并播放,一段数字化影片，往往需要长达几个小时的时间。,数据库管理系统，应该保证播放过程中不会发生中断。,多媒体数据库设计中面临的问题,.,7.,多媒体数据库对服务质量的要求,多媒体数据的传输、表现和存储方式的质量要求不同。,对每一类多媒体数据都必须考虑这些问题：,如何按所要求的形式及时地、逼真地表现数据？,当系统不能满足全部的服务要求时，如何合理的降低服务,质量？,能否插入和预测一些数据？,多媒体数据库设计中面临的问题,.,8.,多媒体数据管理还要考虑版本控制的问题,一是历史版本，同一个处理对象在不同的时间有不同的,内容，如,CAD,设计图纸，有草图和正视图之分；二是选择版本，同一处理对象有不同的表述或处理，一,份合同文献就可以包含英文和中文两种版本。,需要解决多版本的标识、存储、更新和查询，尽可能减,少各版本所占存储空间，而且控制版本访问权限。,多媒体数据库设计中面临的问题,.,多媒体数据类型,1,、数值,在数据库中，数值可以用来表征事物的大小或高低等简单属性，例如，人事档案库中的年龄、工资、身材等。也可以表示事物的类别、层次等，如性别、部门、学历等。对数值数据可以进行算术运算，可以提供有关事物的统计特征。,2,、字符串,字符串即由数字、字母或其它符号连接组成的符号串，其形式近乎于事物本身的特征，并常通过各个角度对事物进行描述，例如，电话号码、地址时间等。对字符串数据可以进行连接运算，在数据库管理中是较便于检索的一种类型。,.,3,、文本,大量的字符串组成文本数据。文本主要以自然语言对事物进行说明性的表示，例如，简历、备注等。其内容抽象度高，计算机理解需要基于一定的技术。在管理上也增加了难度，例如，存储问题、语义归类问题、检索问题等。,4,、图形,图形数据以点、线、角、圆、弧为基本单位，一个完整复杂的图形也可以分解为这些基本的元素来存储。此外，还必须保存各图形元素之间的位置与层次关系。例如，图形元素库、工程图纸库等。图形数据是基于符号的，因此存储量小，便于存取和管理，但图形的使用以显示为主，必须结合图形显示技术。,5,、图像,图像数据以空间离散的点为基础，如果对这种原始数据进行存取的话，将不利于将来对数据的检索，所以通常都通过一定的格式加以组合。数据库中常用尺寸、颜色、纹理、分割等对抽象的语义来描述图像的属性。在特定范围内，图像数据库在存取和检索方面也已经有成功的应用，例如，指纹库、人像库、形体库等。,.,6,、音频,由于音频分为声音、语音和音乐。其中声音数据的范围太大太杂，不便于存储和管理。语音数据的存取也是建立在波形文件基础上的，鉴于语言、语音以及语气的诸多因素，波形的检索还存在着较大的难度，只有对各声波段附加数值、字符串或文本数据，并以它们作为检索的依据，才能达到非声波本身属性方面的的检索。在目前的实际应用中，只有对特定声音或特定语音的存取才具有实际意义。,而音乐是表示乐器的模拟声音，它以符号方式记录信号，因此容易存取、检索和管理。它类似于图形，一段完整复杂的音乐可以分解音符、音色、音调等元素来存储。此外，还必须保存时间及其它相关属性。,7,、动画和影像,动画和影像类似于图像，区别于图像的是它的表现必须时间属性的变化密切配合。动画和影像数据可以分解成文字、解说、配音、场景、剪辑以及时间关系等多种元素，在空间和时间上的管理比其它数据要复杂得多，无论是对各元素的检索还是对组合元素的检索，都存在着相当的难度。但若作为一个整体，可以如声波那样附加以特定的数据，实现非动画和影像本身属性方面的检索。,.,目前多媒体数据库的研究主要途径,在现有商用数据库管理系统的基础上增加接口，以满足多媒体应用的需要；,建立基于一种或几种应用的专用多媒体信息管理系统；,从数据模型入手，研究全新的通用多媒体数据库管理系统。,第一种途径实用，但是效率很低；第二种途径易于实现，但缺乏通用性，而且可扩展性差；第三种途径是研究和发展的主流，但是具有相当的难度。,.,多媒体数据库体系结构,多媒体数据库的一般结构形式,一、联邦型,二、集中统一型,三、客户,/,服务器型,四、超媒体型,.,多媒体数据库体系结构,这种结构是通过整合技术连接的。联邦型结构中可以拥有多个独立的媒体数据库，如文本数据库、音频数据库和图像数据库，每一种媒体数据库的设计不需要考虑和其它数据库的匹配，并且都有自己独立的数据库管理系统。,联邦型,.,多媒体数据库体系结构,该结构包含一个多媒体数据库和一个多媒体数据库管理系统。各种媒体被统一地建于数据库中，由一个数据库管理系统统一管理和提供访问。目的是要满足用户对多特征事物的数据存储和管理，以便达到统一综合应用的效果。,但关键的技术基础是需要建立合适且便于存储、检索和管理的数据类型。目前，面向对象的数据类型就是建立复杂多媒体数据类型的一种方法。更有效的多媒体数据类型的模式有待于进一步的研究。,集中统一型,.,多媒体数据库体系结构,这种结构比较适用于网络环境中，用户可以单独选择或组合选择多媒体服务器的服务。,各种媒体数据库相对独立，并通过专用服务器和一个多媒体管理服务器相连。多媒体管理服务器综合各专用服务器的操纵，通过特定的中间件系统连接用户的接口程序，最终达到与客户之间的信息交换。,客户服务器型,.,超媒体型,多媒体数据库结构,多媒体数据库体系结构,各种媒体数据库分散存储于与网络有连接的存储空间，互联网提供了一个信号传递的通道。该体系结构强调对数据时空索引的组织，通过建立适当的访问工具，就可以随意访问和使用这些数据。,超媒体型,.,多媒体数据库的层次结构,一、传统数据库的层次,二、多媒体数据库的层次划分,.,传统数据库的层次结构,物理模式：,定义数据的存储组织方法,概念模式：,定义抽象现实世界的方法,外部模式：,又称子模式，是概念模式中对用户有用的一部分,概念模式借助数据模型来描述,.,多媒体数据库的层次结构,.,媒体支持层,建立在多媒体操作系统之上，针对各种媒体的特殊性质，在该层中要对媒体进行相应的分割、识别、变换等操作，并确定物理存储的位置和方法，以实现对各种媒体的最基本数据的管理和操纵。,存取与存储数据模型层,多媒体数据的逻辑存储与存取，各种媒体数据的逻辑位置安排、相互的内容关联、特征与数据的关系以及超链的建立等都需要通过合适的存取与存储数据模型进行描述。,多媒体数据库的层次结构,.,概念数据模式层,对现实世界用多媒体数据信息进行的描述，也是多媒体数据库中在全局概念下的一个整体视图。存取与存储数据模型层和概念数据模型层也可以通称为数据模型层,。,多媒体用户接口层,完成用户对多媒体信息的查询描述和得到多媒体信息的查询结果。这层在传统数据库中是非常简单的，但在多媒体数据库中这一层成了最重要的环节之一。,多媒体数据库的层次结构,.,扩充的关系数据模型,扩充的原因：,传统的关系模型结构简单,是单一的二维表,数据类型和长度也被局限在一个较小的子集中,又不支持新的数据类型和数据结构,很难实现空间数据和时态数据,缺乏演绎和推理操作。,使用关系模型,必须对现有的关系模型进行扩充,使它不但能支持格式化数据,也能处理非格式化数据。,1,、引入抽象数据类型,通过增加描述声音、图形或图像等特征的抽象数据类型，来增加对多媒体数据的管理能力。,这种扩展方法的优点是以极小的代价保留了关系型数据库的内核和管理方式，拓宽的对多种媒体的管理能力。,.,2,、引入嵌套表,这种拓展方法是在记录和表之间建立层次关系。在,1NF,关系模型中，同一个属性存在于若干个关系中。,NF,2,模型，不同于第一范式中引入了嵌套表的概念，不再遵守,“,表中不能再有表,”,的规定。使得用户能够定义和表示多媒体信息对象。从而来提高关系数据库处理多媒体数据的能力。,.,多媒体数据的用户接口,字符数值型接口,关键字描述,自然语言查寻,.,多媒体数据的用户接口,.,多媒体数据的用户接口,示例型接口,一、示例的含义,二、示例的种类,三、示例接口的结构,.,多媒体数据的用户接口,示例图像,结果图像,示例图像的查寻,.,多媒体数据的用户接口,图像数据库的示例接口,.,基于内容检索,什么是基于内容的检索,所谓基于内容检索，就是从媒体数据中提取出特定,的信息线索，然后根据这些线索从大量存储在数据库中的媒,体中进行查找，检索出具有相似特征的媒体数据出来。,.,多媒体的内容处理,多媒体数据的,“,内容,”,表示多媒体信息的含义、要旨、主题、包含和显著的性质、实质性的东西、物理细节等，而多媒体内容处理技术要基于对内容的基本定义。,多媒体内容概念,多媒体数据的内容概念包括多个层次：,1,、,概念级内容,：对象的语义表达。例如利用文本的描述，通过分类和目录来组织层次浏览，用链来组织上下文关联。,2,、,感知特性：,视觉特性。如颜色、视觉对象、纹理、草图、形状、体积、空间关系、轮廓、运动、变形等，听觉特性如音调、音色、音质等。,3,、,逻辑关系：,音视频对象的时间和空间关系，语义和上下文关联等。,4,、,信号特性：,通过信号处理方法获取的媒体特征。,5,、,特指特征：,与应用相关的媒体特征。如人的体形特征、面部特征、指纹特征等。,.,信息获取的依据主要是基于内容的,“,概念,”,，通常是通过,“,概念,”,来提交查询。实现,“,概念,”,查询的一种基本方式是基于文本式的描述，例如用关键词、关键词逻辑组合或自然语言来表达查询的,“,概念,”,。,用户获取多媒体信息的方式,当词语难以表达内容特征时，就需要利用媒体呈现的视觉和听觉特性来查询，例如基于颜色、纹理特征或语音特征进行查询。容易使用的主要查询形式有,示例方式,和,描绘方式,。,（,1,）示例方式就是通过浏览选择示例，或通过扫描仪、摄像机、数字相机、话筒等设备在线输入图像或音频作为查询的样本。,（,2,）描绘方式可以是用笔勾勒或描绘检索意图。,.,多媒体内容处理技术,多媒体内容的处理可分为三大部分：,内容获取,、,内容描述,和,内容操纵,。首先要对原始媒体进行处理并提取内容，然后用标准形式描述所提取的内容，以支持各种内容的查询、检索、索引等内容的操纵。,.,内容获取,(Populating),是通过对各种内容的分析和处理而获得媒体内容的过程。多媒体数据的重要成分是空间和时间结构，首先必须分割出图像对象、视频的时间结构、运动对象，以及这些对象之间的关系，然后提取显著的区别特征和人的视觉、听觉感知特征来表示媒体和媒体对象的性质。,内容描述,(Description),针对获取的内容进行描述。为了支持数据管理的灵活性、数据资源的全球化和互操作性，描述必须基于一定的标准。,MPEG-7,标准被称为,“,多媒体内容描述接口,”,，主要采用描述子和描述模式来分别描述媒体的特性及其关系。,描述子是特征的表示法，一个描述子就是定义特征的语法和语义学。,MPEG-7标准定义了一系列的描述结构、描述结构的语言、描述定义语言和多种编码描述方法。,.,内容操纵,(Manipulating),主要针对用户操作和应用。有许多名词和术语。,查询,是面向用户的术语，多用于数据库操作、,检索,是在索引支持下的快速信息获取方式、,搜索,常用于,Internet,的搜索引擎、,摘要,是适合于视频和音频等时基媒体的特殊操作、,浏览,可以线性或非线性地存取结构化的内容、,过滤,是与检索相反的一种信息存取方式。,.,基于内容检索的体系结构,基于内容检索系统结构,，,由,特征分析子系统,、,特征提取子系统,、,数据库、查询接口,、,检索引擎,和,索引过滤,等子系统组成，同时需要相应的知识辅助支持特定领域的内容处理。,.,特征分析,该子系统负责将需要入库的媒体进行分割或节段化，标识出需要的对象或内容关键点，以便有针对性的对目标进行特征提取。特征标识可通过用户输入或系统定义。,特征提取,对用户提供或系统标明的媒体对象进行特征提取处理。提取特征时需要知识处理模块的辅助，与标准化的知识定义直接有关。,数据库,数据库包含多媒体数据库和特征数据库，分别存放多媒体数据同对应的特征数据，它们彼此之间存在着一定的对应关系。特征库中包含了由用户输入的和预处理自动提取的特征数据，通过检索引擎组织与媒体类型相匹配的索引来达到快速搜索的目的。,.,查询接口,即人机交互界面，由于多媒体内容不具有直观性，查询基于示例方式。必须提供可视化手段，可采用交互操纵、摸板选择和样本输入三种方式提交查询依据。,检索引擎,检索要将特征提取值和特征库中的值进行比较，得到一个相似度。不同的媒体各自具有不同的相似度算法，这些算法也称为相似性测度函数。检索引擎使用相似性测度函数集去进行比较，从而确定与特征库的值最接近的多媒体数据。,索引过滤,在大规模多媒体数据检索过程中，为了提高检索效率，常在检索引擎进行匹配之前采用索引过滤方法，取出高维特征用于匹配。,.,基于内容检索的过程和检索技术,在基于内容检索的过程中,相关反馈,是一个相当重要的过程。因为仅仅基于图像低层特征很难给出令人满意的结果，主要原因是图像低层特征和高层语义间存在着很大的差距。,相关反馈技术的基本思想,是建立一个由用户参与的交互过程，在交互过程逐步求得精确的的查询结果。在检索过程中，系统根据用户的查询要求返回检索结果，用户可以对检索结果进行评价和标记，并将这些信息反馈给系统，系统则根据这些反馈信息进行学习，并返回新的查询结果，从而使得检索结果更加满足用户的要求。,.,检索过程,基于内容检索的主要过程,1,、提供查询依据,2,、相似性匹配,3,、结果审核,4,、特征调整,.,检索技术,目前，已经建立了多种基于多媒体内容的检索方法，但是要满足检索率、查准率、查全率、响应时间等方面还需要进一步研究，下面是几个值得人们去探究的检索技术。,1综合的多特征检索技术,多媒体的同一种特征，可以从不同的角度去表示。例如，可以描述颜色特征的有直方图特征、颜色距、颜色集、主颜色等多种特征表示法，实际上综合利用了多种媒体的特征。多种特征表示法容易达到较高的检索率，问题是如何来有机地组织多种特征。,2,、高层概念和低层特征的关联,高层内容是用词语表达具体含义的，如果能够与底层的数据特征相关联，就能够使计算机自动抽取媒体的语义，但建立比较困难。在信息检索、分类和排序的意义上的多媒体检索，可以采用语义模板、用户交互、机器学习、神经网络等方法。,.,基于特征的图像信息检索,在基于内容的图像检索中，较常用关键技术包括从颜色、形状、纹理、空间关系、对象特征进行检索。,基于颜色特征的图像信息检索,颜色内容包含,2,个一般的概念，一个对应于全局颜色分布，一个对应于局部颜色信息。按照全局颜色分布来索引图像可以通过计算每种颜色的像素个数并构造出颜色直方图来实现，这对检索具有相似总体颜色内容的图像是一个很好的途径。局部颜色信息是指局部相似的颜色区域，它考虑了颜色的分类与一些初级的几何特征。,.,利用颜色直方图的查询,在利用颜色直方图的查询中，如要给出查询的示例，一般可采用以下三种方式之一来指明查询的示例：,1,、,指明颜色组成,：通常应在连续变化的色轮上来指定，而不适合用文字进行描述。该法的使用并不方便，检索的查准率和查全率也不高。,2,、,指明一幅示例图像,：通过示例图像的颜色直方图和数据库中的颜色直方图值进行的相似性匹配得到查询结果。,3,、,指明图像中一个子图,：利用图像分割出来的各个小块来确定图像中感兴趣的对象轮廓，通过建立更复杂的颜色关系来查询图像。,.,利用颜色直方图的查询,.,.,.,基于形状特征的检索,形状特征,也称为轮廓特征，是指整个图像或图像中子对象的边缘特征。形状的表示可分为基于边界的和基于区域两类，前者使用形状的外部边界，而后者使用整个区域。一般可用矩形、圆形、面积、周长等来描述，而许多形状特征可能被包含在一个封闭的图像中。,检索主要有两种：,1,、针对轮廓线进行的形状特征检索，这是最常用的方式。用户可以选择形状或勾画一幅轮廓草图，通过形状分析获得到目标的轮廓线。所谓形状分析主要是通过分割图像进行边缘提取，边缘也是图像分割的重要依据。较好的边缘提取过程必须与滤波器配合使用。,2,、直接对图形寻找适当的向量特征进行检索。,.,图像特征提取,-,曲率分布,.,.,.,.,.,.,基于纹理特征的检索,纹理特征是表面具有的内在特征，它包含了关于表面的结构布局、密度、及变化关系。图像或物体的纹理特征反映了图像或物体本身的属性，常用粗糙性、方向性和对比度等来描述。纹理研究的包括纹理分析和纹理合成两个方面，而纹理分析是基于纹理检索的重要基础。,纹理分析的方法大致可分为统计方法和结构方法两种。统计方法用于分析木纹、草坪等细致而不规则的物体，并根据关于像素间灰度的统计性质对纹理规定出特征及参数间的关系。结构方法适于具有纹理排列规则的图案，根据纹理基元及其排列规则来描述纹理、特征、以及特征与参数间的关系。,纹理的检索一般都采用示例查询方法。同时结合纹理颜色作为检索特征，可以缩小查找纹理的范围。,.,.,基于内容的视频检索,视频内容中包含了一系列的连续图像，其基本单位是镜头（,shot,）。每个镜头可包含一个事件或者包含一组连续的动作。镜头由在时间上连续的视频帧组成，它们反映的就是组成动作的不同画面，在一段经过非线性编辑的视频序列中，常常包含了许多镜头。镜头之间可存在多种类型的过渡方式，最简单连接是切变，表现为在相邻两帧间发生突变性的镜头转换。此外，还存在一些逐渐过渡方式，如淡入、淡出等。,解决基于内容的视频检索的关键是视频结构的模型化或形式化。为此需要解决关键帧抽取与镜头分割的问题。,.,首先要进行视频结构分析，将视频序列分割为镜头，并在镜头内选择关键帧。然后提取镜头的运动特征和关键帧中的视觉特征，作为一种检索机制存入视频数据库。最后根据用户提交的查询按照一定特征进行视频检索，将检索结果按相似性程度交给用户，当用户对查询结果不满意时可以优化查询结果，自动根据用户的意见灵活地优化检索结果。,.,从媒体内容中提取信息线索,基于内容的检索是一种近似匹配,基于内容的检索需要利用图像处理、,模式识别、计算机视觉、图像理解等,学科中的一些方法作为部分基础技术。,基于内容检索,基于内容检索的特点,.,