多媒体系统的数据模型.pptx

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,第八章 多媒体系统数据模型,多媒体系统数据模型概述,超文本系统形式化模型,信息元模型,表现与同时模型,第1页,8.1 多媒体系统数据模型概述,数据模型,就是在计算机数据世界中建立计算机能接收对现实世界中所要研究对象抽象描述,。,多媒体系统数据模型主要任务：,表示各种不一样媒体数据结构及其属性特征;,指出不一样媒体数据之间相互关系,。,多媒体数据时空关系建模是多媒体系统研究主要特色，这种时空关系主要由多媒体系统表现,模型,刻划。,第2页,多媒体系统表现模型,多媒体表现是多媒体数据合成再现。,多媒体合成主要包含空间和时间合成。,空间合成是同一表现空间域中共存一系列媒体对象之间空间特征、位置关系描述。,时间合成是在某一时间域内并发(包含次序和并行)表现一系列媒体对象之间时序关系描述。,多媒体同时是指采取进程来协调时序关系机制,亦即实现时间合成方法描述。,第3页,多媒体系统数据模型层次结构,应用层,信息元层,数据元层,脚本同时,合成同时,系统同时,内容,表现,第4页,表现模型从“表现”入手,依据多媒体表现强烈时空特征,往往以时间为线索来组织安排多媒体活动。,同时指对多个对象间时间关系协调控制,同时模型是以时间为线索来组织多媒体表现。,同时也是有层次,普通分为用户级同时、复合对象内部同时及系统同时。,第5页,8.2,超文本系统形式化模型,形式化描述,就是用数学概念或类数学概念来准确定义和描述信息系统基本特征一个方法。,优点,：准确定义和描述;便于模型性质分析;有利于研究新模型;指导系统实现。,形式化语言或工具,:,如,Petri,网、时序逻辑语言。和,Z,语言。,形式化语言既是正规性语言又是描述性语言,在软件系统建模、概念设计中起着主要作用。,第6页,集合论和一阶逻辑,定义,1 序偶,这里,S,是一个集合,R,是从,S,到,S,一个关系。假如,满足以下条件称它为偏序集：,(1),R,是不对称；,(2),R,是自反；,(3),R,是传递。,定义,2 集合,S,一个对象,x,是偏序,R,最小元素，假如：,sS(R(s,x)=(s=x),第7页,定义,3 偏序集,中,集合,S,元素,X,覆盖,S,元素,Y(X),可记为,covers(X,Y,),满足：,R(Y,X),ZS(R(Y,Z)R(Z,X)=(Z=X)(Z=Y),定义,4 偏序集,中,S,中对象高度是一个从,S,到自然数集合函数,其定义为:,(1)假如,X,是,最小元素,则,height(X)=1;,(2),假如,covers(X,Y,),则,height(X)=height(Y)+1,第8页,定义,5 一个超文本,是这么一个集合,它包含:,(1)域对象集,D,0,和信息对象集,I,0,;,且有,D,0,I,0,=,D,0,I,0,=O,其中,为空集,O,是对象集。,(2)谓词集合,;,(3),属性(性质)集合,A。,对超文本,D,0,表示,域对象集,I,0,表示,信息对象集,A,表示,中属性集,表示,中谓词集合。,第9页,定义6,谓词集合,由以下3个子集组成:,(1),1,:,一元谓词,表示对象特征。,SET(X),(2),2,:,二元谓词,表示对象关系。,P(X1,X2),(3),3,:,三元谓词,表示对象某种属性取值。,ATR(X,Y,Z),定义7,D,0,是一个表示,域对象独有符号集合,I,0,是表示信息对象符号集合,集合,O=D,0,I,0,被称为对象集合。,信息对象(,I,0,),与域对象(,D,0,),关系能够经过函数,INSTANCE,OF,和,INSTANCES,来建立。,INSTANCE,OF,(X)=Y,表示,X,是一个信息对象,它是域对象,Y,一个实例。,INSTANCES(X)=X,1,X,2,则等价于,INSTANCE,OF,(X,1,)=X,INSTANCE,OF,(X,2,)=X,。,第10页,定义8,超文本,是一个强定义超文本,当且仅当,X(XI,0,)=(,Y(INSTANCE,OF,(X)=Y),全部信息对象都经过它们域对象定义。,信息结点信息内容由对象,INFO,属性表示。,INFO,是一个二元组,Position,Value,其中,Position,指明在信息对象中,Value,位置。,第11页,定义9,序列对象,O,q,是有限个对象集合,且有:,(1)谓词,SEQUENCE,X(,SEQUENCE,(X)(XO,q,);,(2),函数,LENGTH LENGTH,(X)=X,中所含对象个数;,(3)函数,LIST LIST,(X)=X,中对象一个有序排列,用,X,1,X,2,表示;,(4)谓词,in,当对象,X,是序列,Y,一个元素时,in,(X,Y),或(,X,in,Y),为真;假如,X,不是,Y,一个元素,即,X,不在,Y,中,则,in,(X,Y),为假。,第12页,定义10,聚集对象,O,aggregate,是一个序列对象,且须满足下述公理:,(1)聚集对象含有唯一成份。,X,YAGGREGATE(X)AGGREGATE(Y)(LIST(X)=LIST(Y)=(X=Y),(2),若一聚集对象是域对象,该对象全部成份必是域对象。,X(AGGREGATE(X)(XD,0,)=,Y(Y in LIST(X)=(YD,0,),(3),聚集对象实例由其成份对象实例组成。,X,Y(AGGREGATE(X)(XINSTANCES(Y),=(AGGREGATE(Y)(YD,0,),Z(Z in LIST(X),=(,Z in LIST(Y),T(T in LIST(Y)ZINSTANCES(T),第13页,定义11,归纳定义为对象集合,O,中一个关系.若,GENERALIZATION(X,Y),则称,X,是,Y,归纳。归纳满足下述公理：,(1)关系,GENERALIZATION,是不对称,非自反和传递。,(2)假如,X,是一信息对象,它是域对象,Y,实例,则,Y,是,X,归纳。,(,INSTANCE,OF,(X)=Y)=GENERALIZATION(Y,X),(3),假如,X,是,Y,归纳,而且,Y,是一个域对象,则,X,必是域对象。,X,Y(GENERALIZATION(X,Y)YD,0,)=(XD,0,),(4),假如,Y,是,X,归纳,而且,X,是一个信息对象,Y,是一个域对象,则,X,在,Y,实例集中。,X,YGENERALIZATION(Y,X)(XI,0,)(YD,0,)=,(XINSTANCES(Y),第14页,引理1,假如,X,是,Y,归纳而且,Y,m,在,Y,实例集中，则,Y,m,在,X,实例集中。,引理2,定义关系,GENERAL(X,Y)=(X=Y)GENERALIZATION(Y,X),序偶,是一个偏序集。,定义12,一个对象,XO,归纳级定义为在偏序集,中对象高度。,第15页,8.3 信息元模型,信息元模型考虑是信息元结构模型,目标是提供一个标准,使“信息元”公共化、通用化,成为上层各类多媒体应用(或模型)都可“调用”东西,这将会大大方便多媒体数据与信息之间交互和通信,第16页,多媒体信息元是含有一定语义组成信息系统应用信息子块,多媒体信息元是一个或多个媒体数据元经过一定添加与包装而合成超数据元,第17页,多媒体信息元3个基本特征：,(1)数据元本身组织附加其表现属性基本对象内容与表现/单媒体对象表现。,(2)多个数据元时空同时关系描述复合对象同时/多媒体同时。,(3)成份之间链接描述基本链接功效,。,信息元大小,就是上述3项内容之和。,信息元合成,主要指多个数据元之间时空合成,亦即时空关系描述。,第18页,面向对象一些特点,如封装、继承、聚合等,恰好适合于为复杂多媒体数据和信息提供强有力抽象机制。,多媒体信息元模型更是利用了面向对象方法。,第19页,MHEG,标准,由,ISO/IEC JTC1/SC29/WG12,教授组(,MHEG),来制订超文本信息元标准。,主要集中在以下几个方面:交互性和多媒体同时;实时表示;实时交换;对象格式变换。,分两个部分来完成标准化工作:第一部分是概念/原理性定义,第二部分主要是超媒体信息对象及,MHEG,链表示。,采取面向对象方法来分析设计模型。,第20页,MH,对象,分类,输出内容(,Output Content),对象,普通输入(,Generic Input),对象,(1)按钮(,Button),(2)菜单项选择择(,Menu selection),(3)多项选择(,Multiple selection),(4)字符串(,Character string),(5)位置(,Location),(6)数值(,Numberical value),第21页,投射器(,Projector),对象,基本(,Basic),对象,合成(,Composite),对象,条件与动作,第22页,MHEG,同时机制,(1),脚本同时,(2)条件同时,(3)空间时间同时,(4)系统同时,第23页,8.4,表现与同时模型,表现,是把各种媒体信息展示给用户活动,是多媒体数据合成再现。,多媒体表现因各种媒体并存而成为复杂活动,以时间次序和空间关系来安排各种媒体合成表现,即是,多媒体同时,问题。,空间合成,确定各种媒体在画面空间上位置变换和安排,时间合成,确定媒体对象在时间上次序,第24页,时空合成概念描述,定义,1 角色是多媒体表现环境中资源,它分为视角色和听角色。视角色对应一块显示区域(窗口),听角色对应扬声器或声卡(声音通道)。,定义,2,场景是各种媒体对象占用角色活动多媒体空间表现环境。,定义,3,场景运算是对角色施加操作,它分为一元运算和二元运算。,第25页,场景运算,场景运算,一元运算,二元运算,视角色,定位(,Loc),变比(,Scale),剪裁(,Cut),旋转(,Rotate),邻接(,Abut),覆盖(,Overlay),镶嵌(,Mosaic),交叠(,Overlap),听角色,增益(,Gain),混声(,Mix),第26页,定义,4,场景表示式 由角色经场景运算而产生结果。它可递归定义为:,(1)角色本身是场景表示式；,(2)若,Q,为场景表示式,则,Q,一元运算结果为场景表示式；,(3)若,Q1,和,Q2,为场景表示式,则,Q1,和,Q2,二元运算结果为场景表示式；,(4)若,Q,为场景表示式,则(,Q),也是场景表示式；,(5)场景运算优先级由高到低为：(),一元运算,二元运算；,(6)场景表示式经(1)-(5)确定规则复合而成。,第27页,定义5,情节 表示多媒体表现环境中所发生事件,即媒体对象活动。,情节可分为原子情节和复合情节,原子情节是由一个媒体对象连续完成活动,复合情节是由原子情节或复合情节经情节运算结构而成。,第28页,定义6,设,X1、X2,为多媒体表现中2个情节,情节运算定义为：,(1)并发运算,X1X2,X1X2,X1,X2,同时开始执行,都完成时,X1X2,完成(称最终并行)；,X1,或,X2,有一个完成时,X1X2,完成(称首先并行)。,(2)次序运算,X1;X2,先执行情节,X1,再执行情节,X2,X2,完成时,X1;X2,完成。,(3)循环运算,X*m,循环,m(m1),次执行情节,X,X,每次执行有不一样对象参加。,(4)重复运算,X+m,重复,m(m1),次执行情节,X,X,每次执行都同一对象参加。,第29页,定义7,情节表示式定义为：,(1)情节本身是情节表示式；,(2)若,X,为情节表示式,则,X*m,X+m,也是情节表示式；,(3)若,X1,和,X2,为情节表示式,则,X1X2,X1X2,和,X1;X2,运算结果也为情节表示式；,(4)若,X,为情节表示式,则(,X),也是情节表示式；,(5)情节运算优先级为:()优先级高,其余运算优先级相同；,(6)情节表示式全部形式可经(1)-(5)确定规则复合而成。,定义8,多媒体节目脚本是一个情节表示式。,第30页,时间合成,时间关系普通可用,before、meets、overlap、during、starts、finishes,和,equals,及其逆关系来表示,共有13种。,多媒体对象在时间上并行、次序、独立关系,在对象时间表现控制上分别对应于并发、串行、异步(任意)执行。,第31页,同时层次与类型,用户级同时与脚本模型,最上层同时,又称表现级同时或交互同时,合成同时,中层同时,系统同时,底层同时,是媒体内部同时,第32页,时间同时模型功效需求,表示能力,对象间同时，对象内同时,用户交互/不确定性,不确定性管理，高级交互功效（倒带、快进、）,规约生成支持,规约可维护性，规约重用性，不一致性检测,其中有些特点是模型必须支持，如对象间同时；,有些特点，模型尽可能给予支持，如不一致性检测。,当前所提出同时模型主要有4大类：,图模型,基于,Petri,网模型,面向对象模型,基于语言模型。,第33页,图模型,图模型把时序场景表示为一个图,G=(V,E),其中,结点,n,V,表示合成场景对象/事件;,边,e,E,表示时序场景构件之间相互关系。,以,Firefly,模型为例介绍图模型,使用记号以下：,方结点,表示多媒体对象开始和结束时间；,圆结点,表示对象内同时点,它们被放置于对应对象开始和结束事件之间；,边,表示事件之间时间关系。,每个边标识上它所连接事件之间关系。比如标识为：同时(,sim.with),或先于10秒(,before 10s)。,第34页,Firefly,模型支持两种约束：,时间等式，它要求两个事件同时发生(如,sim.with),或一个事件超前于另一事件确定时间量,t(,如,before t),；,时间不等式,它支持不确定性表示。比如一个事件超前于另一个最少某个确定时间,t(,如,before at least,t),或最少时间,t,至多时间,s,(,before at least t and no more than,s,)。,start,start,end,end,start,start,end,end,start,start,end,end,sim.with,Music-Start,Logo-start,sim.with,sim.with,Car,Text,before t1,sim.with,sim.with,sim.with,sim.with,Music-end,Logo-end,第35页,Petri,网模型,时间,Petri,网描述多媒体同时基本思绪:将时序场景中媒体对象布局表示为,Petri,网中库所,时间关系表示为变迁。,对象合成,Petri,网(,OCPN),模型为例介绍基于,Petri,网多媒体同时形式描述模型。,OCPN,模型是在常规,Petri,网基础上增加了延时值和资源值等扩充而成。,定义1,Petri,网(,PN),记为,C,PN,=,T,P,F,其中,T,=,t,1,t,2,t,n,表示变迁集合,n,0;,P,=,P,1,P,2,P,m,表示库所集合,m,0,且,P,T,=,；,F,TP,PT,代表库所与变迁之间有向弧集合。,第36页,定义2,标识,Petri,网(,MPN),定义为,C,MPN,=,T,P,F,M,其中,T,P,F,定义同,PN,中定义,而,M:PI,I=,0,1,2,定义3,OCPN,定义为,C,OCPN,=,T,P,F,D,Re,M,其中,T,P,F,M,定义同,MPN,定义,而,D:PR,(,实数集),Re:P,r,1,r,2,r,k,D,是从库所集合到实数(连续时间)映射,Re,是从库所集合到资源集合映射。,Car,Delay,Text,T1,R1,Tc,Rc,T2,R2,第37页,面向对象模型,时序场景被建模成相互联络对象集合。同时多媒体对象时间信息经过对象属性方式来建模。,合成对象是建模时序场景强有力工具。可把时序场景建模成一个合成对象,其中每个组元是合成场景对象。建模以及合成场景对象属性和方法普通用来表示同时需求。,ODA,是由,ISO/ITU/ECMA,联合开发标准化文档结构,用于管理开放分布式办公文档。,ODA,基本版本不能处理音视频类数据类型,考虑文档仅由文本、图形和图象组成。有些人提出了对,ODA,结构扩充,加强,ODA,框架处理时间信息能力。,第38页,Hoepner,在,ODA,框架内提出多媒体对象同时通用模型。,每个时序场景可建模成情节集合。情节在一些给定对应于特殊事件时间点进行合成。合成在该模型中仅能出现在每个情节开始和结束点。,同时需求经过路径表示式来进行描述,路径表示式由路径算子组合原子情节而形成。,Hoepner,定义路径算子以下:,(1),最终并行,(,AB),情节,A,和,B,起始于一个公共起点,并行执行。当全部参加情节(,A,和,B),都结束时,合成情节才结束。,(2),首先并行,(,AB),情节,A,和,B,起始于一个公共起点,并行执行。当其中某一情节首先结束时,合成情节即结束。,第39页,(3)串行,(,A;B),只有,A,先执行完后才有可能执行,B。,(4),可选,(,A|B),执行,A,或,B,都是允许,。,(5),重复,(,A,i,*),情节,A,将重复,i,次,。,(6),并发,(,N:A),情节,A,将被许可同时并发执行,N,次,。,比如，算子路径,Path A;(BC)(DE);F*end,含义是:,A,开始开启,A,刚结束,4个情节,B、C、D、E,同时开启,在,B、C,结束或,D、E,结束时,F,开始执行(0次或屡次)。,第40页,基于语言模型,利用同时原语扩展传统并发程序设计语言建模多媒体同时需求,基于,LOTOS、Hytime,和,TCSP,等语言模型。,TCSP,是,CSP,语言时间扩充。,TCSP,作为一个描述语言，它使用了下述记号：,SKIP,进程(不做任何事情)马上结束;,STOP,终止;,WAIT,t,延迟时间,t,后结束；|,异步并行；,P Q,由环境决定外部选择；,P Q,内部选择；,a,P,事件,a,发生时控制传给,P；,a,P,事件,a,发生后时间,t,控制传给,P；,P Q,超时操作,假如时间,t,之前无与,P,通信发生,把控制从,P,传到,Q；,P;Q,次序合成；等等。,t,t,第41页,TCSP,功效强大,足以描述,Allen,定义13种关系,。如：,equals(x,y)=(x.ready,(y.ready,E1)(synch-error,SKIP),(y.ready,(x.ready,E1)(synch-error,SKIP),E1=x.present,y.present;,(x.free,(y.free,SKIP)(synch-error,SKIP),(y.free,(x.free,SKIP)(synch-error,SKIP),描述规范生成后必须要检验其正确性。验证正确性分两步：首先有必要给出规范必须满足性质；然后证实描述规范满足了定义性质。利用,TCSP,描述同时规范可用,TCSP,证实理论来检验其是否满足安全性、活性等性质。,第42页,多媒体表现脚本语言,脚本及脚本语言,S.R.L.Meira,和,A.E.L.Moura,基于表现对象间及表现对象与时钟间时间关系模型而开发一个脚本语言:,(1)语法描述;,(2)节目编程举例.,第43页,本章小结,首先分析多媒体系统数据模型层次结构;,简明介绍了基于集合论和一阶逻辑超文本系统形式化描述方法,还对信息元模型进行了讨论;,讨论了表现与同时相关概念,时间同时方法,在多媒体系统建模中有影响同时模型,;,本章内容属多媒体技术基础研究部分,当前还不够系统化,希望经过本章介绍对读者深入研究或应用多媒体系统有所帮助。,第44页,