媒资档案管理系统技术方案.doc

媒资档案管理系统技术方案

53
2020年5月29日
文档仅供参考

媒资档案管理系统

技术方案

北京亚细亚智业科技有限公司
10月

目 录
第1章 方案综述 1
1.1 系统建设的必要性 1
1.2 建设内容和目标 2
1.3 业务需求分析 3
第2章 系统总体设计 5
2.1 系统设计原则 5
2.2 系统结构设计 6
2.3 数据处理流程 8
2.3.1 数据导入流程 8
2.3.2 数据输出(发布)流程 10
2.4 本方案的优势 11
2.4.1 体系结构灵活 11
2.4.2 强大的视音频处理 11
2.4.3 能够管理各类数据资源 11
2.4.4 海量数据多级存储 12
2.4.5 成熟稳定的基础软件平台 12
2.4.6 软件强大的跨平台运行能力 12
第3章 系统功能描述 13
3.1 资料整理上载 13
3.2 视频转码分析 14
3.3 资料编目标引 15
3.3.1 编目标引建模 15
3.3.2 视频关键帧抽取 17
3.3.3 附件资料上传 18
3.4 海量数据存储 19
3.4.1 海量数据多级存储体系 19
3.4.2 数据多级存储的实现 21
3.5 多媒体资料查询浏览 25
3.5.1 视音频资料检索 25
3.5.2 关键字检索 26
3.5.3 条件组合检索 26
3.5.4 全文检索 26
3.6 资料下载 29
3.7 资料安全控制 29
3.8 数据统计分析 30
3.8.1 设备使用情况统计 30
3.8.2 数据利用情况统计 31
3.8.3 人员工作量统计 31
第4章 非视音频数据的管理 32
第5章 系统的扩展性 33
第1章 方案综述
经过多年的发展和努力,许多企业已经积累了大量高水平、高质量、具有保存价值的历史资料,其中,包括音像资料、图片资料、文档资料、资料等等。随着时间的延续,这些资料的保存价值和重要性也随着突显出来。首先,这些历史资料需要更安全可靠的介质保存;其次这些宝贵资料更需要合理有效的管理和调用,使它们完整有序、便于检索、并能够提供方便、快捷、全面的资料服务,充分发挥其实用价值。
当前,信息技术的广泛应用,使各类资料的数字化保存管理已经成为趋势。数字技术在资料的生成、编辑、发布播出等业务中普遍采用,有效的提高了资料保存和发布的质量,低成本、安全高效的海量存储技术也为大量历史资料的长期数字化保存与管理奠定了基础。
信息化在知识经济时代的深入,信息工作对资料的检索和再利用提出更高的要求,编导在制作音像节目时,要查阅库存中同类或相似的信息以便参考和再利用;逐渐增多的行业内部交流更需要资料共享;随着远程宽带网络的飞速发展,用户所拥有的丰富资源还能经过网上资料交流而产生巨大的经济效益和社会效益。
面对当前企业的需求,构建一个适当的媒资档案管理系统能够合理地解决这些问题。在保障数据安全的前提下,技术方案采用了灵活多样的低成本设计思路,使其既适用于当前各类资料存储管理的需要,也适用于今后企业科学发展的要求。
1.1 系统建设的必要性
1、历史资料管理的现状:数量大、价值高、格式多样
企业拥有大量数字多媒体资源,而且每年还再不断增加。资料越来越多,种类日趋齐全,其有形价值和无形资产均不能以金钱去衡量。
2、现有的管理和保存环境条件有限
许多企业由于历史原因,现有的管理和保存环境条件不是很理想,原有的资料查找和检索相对困难,有些珍贵资料保存也出现危机。
3、资料管理现代化的条件已具备,主要体现在:存储与管理技术的进步,资料再利用的需求,系统建设成本的降低等。而且数字化的文件资料能够长时间保存,质量不会有任何降低,因此,数字资料的存储与管理已经是发展的必然。
4、海量存储技术的发展,为数字资料的再次利用打下了良好的保存基础。
综上所述,企事业机构建立一个资料丰富,保存条件好,编目完备的现代化媒资档案管理系统是具备条件且完全是必要的!
1.2 建设内容和目标
1．结合现有主流媒体使用的多媒体资源管理系统和多媒体资源现状,保证系统开发所用技术的先进性,为企业建立一个资料丰富、保存质量高、使用快捷的现代化数字媒体资料管理系统的目标。
2．系统具备海量存储功能(软件系统支持)。根据现有媒体资源的容量,能够为企业建立媒资档案管理中心,即搭建中心服务器及海量存储设备,实现集中式管理和资源共享,核心服务器以及相关系统设备采用高端服务器集群,并实现核心设备间光纤高速连接。实现对于分散的文档进行集中的、进行长期无损的数字化存储,防止数据资料的散失。
3．系统具备强大的多媒体处理能力。为了保证多媒体素材今后不同的调用方式,要实现常见格式的输入输出以及格式转换,如一份视频资料能够生成两个码率的文件,高质量的用来长期存储,较低质量的实现网络中的在线搜索、浏览、发布及在线点播。
4．系统具备高速的数据输入输出能力。媒资档案管理系统要借助现有网络环境进行数据交换及存储,日常数据输入输出的量十分大,系统必须提供相应的数据接口或解决方案来适应这种大容量、集中式的数据交换。如处理多个终端同时向中心系统上传或下载数据的能力。
5．系统的可扩展性。随着企业不断发展,多媒体资料不断丰富、容量不断增加,系统必须提供一个简便可靠的扩展功能来满足正常上述需要。另外,随着使用需求的不断变化,系统设计时必须灵活,系统管理者维护修改必须简便。如预留更多自定义的系统功能供系统管理者选择。
6．对于各种类型的多媒体资料,统一格式,详细分类,经过一个系统平台规范化管理。分配不同层面使用者不同的操作权限,保证原始资源安全可靠的长期存储以及分级管理。如经过编辑的资源要与原始资源分别存储,并有一定关联方式,能够方便的被使用者搜索到。对于历史数据的方便、准确快速的检索、实现在线浏览、提取编辑等。
7．为了快速完成资料整理和上载准备工作,根据资料容量和投资规模能够搭建视频采集、视频编辑和处理、媒体资料上传等功能的媒体工作站:
8．拟定一套使用规程和管理制度,规定进入媒资档案库文件的内容、格式等标准。在完成资料存储格式的统一后,进行节目资料的编目、标引等整理工作,做到操作简捷、直观,符合规范。
1.3 业务需求分析
许多企业的历史资料规模大、种类多,既有视音频、也有文档、图片等等,经过对多个案例的实际分析,我们认为,企业的媒资档案管理系统要能够满足如下方面的业务需求:
l 视音频或平明媒体数据是系统管理的重点内容
视音频资料和平明媒体资料具有时间长、格式多样、存储容量大、管理复杂的特点,在整个存储系统中,其数据量所占的比重也最大。因此,科学、合理、高效的管理和存储企业大量的视音频资料,是本方案需要解决的重点。
本方案采用主流、先进的数据处理技术,将模拟形式的视音频资料或纸质的平面资料进行数字化转换和制作,并进行有效管理和存储,使大量资料能够经过系统存得好、找得着、调得出。
l 海量数据存储管理
建成的系统存储量要满足存储几十TB、甚至上百TB的数据资料的能力,并随着资料的不断增加实现系统的无缝升级,存储的介质类型要以符合数字化技术潮流和保存时间长的介质为主,重点要考虑到数据长期存储的安全、高效。
l 足够的数据输入输出能力
用户在需要各类数据时,系统应能及时输出所需的内容或提供信号。对音像资料来讲,应该实现包括MPEG-2-I、MPEG-2-IBP、DVSD、DV25、DV50、MPEG-1、MPEG4、AVI等常见格式的输入输出,而且能够实现对WMV等格式的支持,实现网络中的发布与点播。
l 便捷的分布式数据上、下载
系统除了要为企业建立媒资档案中心外,还能够经过网络覆盖企业的分支机构或企业的用户处,使这部分用户也能够及时上传和下载。
因此,系统的软件功能要能够经过网络,便捷的连通各部门,并将需要管理的数据及时传输到存储中心,同时,对保存在中心档案库中的数据资料,操作人员经过软件界面,也要能够进行便捷的检索和浏览、输出,最大限度的方便实际工作应用。
l 快速简捷的编目、标引
对资料管理系统要求操作简捷直观符合规范,提供符合标准的编目标引方法,提供良好的编目升级方式。对不同类型的数据需要提供灵活的编目、标引建模体系,满足不同类型数据管理的要求。
l 易懂有效的资料检索、浏览
对于系统中保存的不同类型的数据资料,软件要提供方便、高效的数据检索、浏览能力,能够经过数据建模的任何条件与字段,对资料进行检索、查找。
而且,针对不同类型的数据资料,应该能够按照其编目和描述方式灵活的定义和调整检索条件,使用户能够在业务发生变化或增加新的描述字段时,方便地调整检索方案。
l 可靠的系统安全性
能够提供使用者权限的科学分配,提供良好的数据安全机制,能够保障数据的通读性,实现数据的长期稳定的保存。对不同级别的操作人员,能够灵活的控制其使用权限,能够对编目、查询等不同站点实现不同权限的分配,而且对登录系统的人员操作进行全面的日志记录。

第2章 系统总体设计
2.1 系统设计原则
系统设计原则是在满足用户数据资料的采集、编辑、编目标引、存储管理下载输出等业务处理要求的情况下,充分考虑系统的可用性、稳定性、可靠性,同时兼顾系统的先进性、兼容性、可扩展性。
1、 系统的功能性、适用性
系统应根据企业数据采集、编辑、存储管理、下载输出等业务处理要求进行开发,实现与企业实际业务工作的高度结合,切实提高工作效率。
2、 系统的开放性、可扩展性
采用成熟、标准的技术和产品,以便于将来与外系统的联接和数据共享;采用模块化设计方法,便于扩展,以适应未来发展需要。
3、 系统的先进性
系统应采用先进的视音频编辑技术、计算机技术、网络通信技术、存储技术、内容管理技术等等。
4、 系统的安全性
采用各种有效的安全措施(如数据容错备份、网络隔离技术等),确保网络的安全性。
5、 系统的稳定性
主要表现在两个方面,一是采用成熟的技术和高质量的设备;二是对网络的关键设备要考虑容错及备份措施。
6、 系统的可管理性
系统应具有很强的管理能力,以提高节目的制作速度和设备使用调度能力。
7、 充分考虑厂商的技术支持
本方案全面基于我公司自行研发的Mars Media数据管理软件平台构建,由于管理软件全部为我公司自行研发,因此,拥有对企业集团的最佳支持能力,从实施维护到开发升级,都能够全面满足用户的要求,做到最佳的支持与维护。
8、 经济性
本方案所有技术选型应该坚持性能价格比最优的原则,同时兼顾维护服务能力和将来的扩展能力,保护用户现有的投资。
综上,媒资档案系统的设计目标是:满足用户需求、考虑长远利益、充分保护企业的现有投资。
2.2 系统结构设计
企业的媒资档案管理系统就是要利用计算机将大量数据资料整理、编目标引、海量存储、以便方便的检索和再利用。对资料的编目体系要按照一个灵活、规范的方式将各类资料分门别类的存放,对其中的所有的信息,不论是文字的,还是声音的、图像的,都加以标引,让使用者从任何角度出发,都能够准确、迅速地找到所需要的数字资料。对不同的资料源也能够采用不同的编目方式,以提高编目效率,同时系统支持多种数据格式的归档存储与管理。
根据上述的业务需求分析,本方案将基于我公司成熟的Mars Media多媒体数据管理软件平台来构建整个系统。Mars Media为我公司自行研发的多媒体数据管理平台,经过多个项目的长期实践检验,运行稳定、可靠。
从逻辑上讲,Mars Media涵盖了数据内容管理与存储管理两个层面,数据存储为内容管理提供底层的存储支撑服务,内容管理层提供对数据资料的各类业务处理,而且,软件最大限度的基于B/S结构,日常业务操作,包括数据编目标引、检索、浏览、系统管理等工作,全部基于Web界面,操作简单易用。由于软件系统全面基于网络,具备跨网段、跨路由的数据管理能力,因此完全满足企业对总部及分支机构广域范围的数据传送与管理。经过软件的内容管理层,查询、浏览等应用层用户能够对整个档案库进行输入、输出等访问,以进行节目资料的再次处理与利用。
因此,基于Mars Media软件平台,并与相关硬件设备的密切配合,能够为企业能源建设一个科学、稳定、灵活、高效的媒资档案管理系统。
本方案设计的企业媒资档案管理系统物理结构图如下所示:

上图中,系统管理服务器和海量存储设备全部架设在公司的中心档案管理室,包括系统元数据服务器,是系统业务处理的核心,运行元数据管理模块,完成对象建模、编目标引、检索查询、流媒体浏览等核心管理功能,软件基于IE界面,任何经过网络登录到本服务器的终端经过授权,都能够进行各类业务操作。
数据存储服务器运行海量数据存储软件模块,连接海量存储设备,将入库整理好的历史数据进行长期保存。根据具体的存储策略,能够将指定的数据完成从磁盘阵列、磁带库、以及磁带架之间的多级归档、恢复,调用。
数据存储服务器同时运行数据交换软件,需要上载入库的资料无论是中心还是远端,只要放入指定的目录,交换软件能够经过网络自动监测目标数据的变化,将新增数据及时抓取到中心存储设备,进行数据的编目和入库保存工作。经过数据交换软件,要上载的数据只需存入各自的指定目录即可,都能够自动将数据上传到中心存储设备。为了支持多种数据上传手段,技术方案还提供上传客户端软件,各部门用户也能够经过数据上传客户端,将需要入库的资料传送到存储中心。
节目转码服务器运行视音频格式转换软件,完成自动将上载入库的高质量Mpeg-2节目向浏览用Mpeg-4 wmv节目的转换。以及其它数字格式如:avi、DVD、Mpeg-1等资料向标准存储格式的转换。
系统重建模块运行于重建服务器中,负责对系统中主数据库、服务器操作系统的自动备份。经过完全、增量、差分等专业的备份方式将数据备份到数据流磁带中。在服务器系统一旦出现问题的情况下,能够快速对系统进行恢复。
海量存储设备采用磁盘阵列与磁带库相结合的多级存储方式,按照要求,各配备容量为15TB,并经过SAN存储网络与各服务器连接,是服务器能够统一访问中心的海量存储资源。
相关部门配备相应的视音频上下载工作站,运行采集软件,完成模拟视音频资料向标准Mpeg-2存储格式的采集,上载。
2.3 数据处理流程
方案采用的Mars Media多媒体数据管理平台,由元数据管理模块(MetaServer)、视音频转码模块(FlipServer)、数据交换模块(ExServer)、系统重建模块(RebuildServer)、数据多级存储模块(StorageServer)等组成,配合视音频上下载设备来完成视音频数据的业务处理与存储。而各类型的文档、图片等电子数据则直接能够导入系统,进入档案库的管理体系中。
各类多媒体数据导入系统以及从系统中输出、发布的流程如下:
2.3.1 数据导入流程
数据导入指的是由数据交换软件模块(ExServer)主动对需要上载到系统中的数据进行检测,并将需要管理的数据进行存储、编目、归档等处理的过程。导入过程中,系统认为需要导入的资料是完整的内容资料,不再有任何对数据的再加工或再处理。
具体业务流程图如下:

数据导入流程图

上图流程描述的是全部的处理流程。当交换服务器(ExServer)检测到用户存储的文件有新的时,就会提示是否需要迁移到本内容管理系统中,如不需要则只在数据库中作记录;如需要迁移,则利用交换服务器按类进行资料迁移,在迁移的同时还可进行资料的备份、发布等功能。除此之外,交换服务器还提供在线素材的ftp服务,不能经过交换服务器与本内容系统进行直接交换的客户端,能够经过ftp服务,进行素材的迁移。然后把迁移的相关内容在数据库中作记录。迁移到存储系统中的视频资料,有些本身格式不适合浏览或码流过大影响浏览效果,如需要浏览时则可利用转码服务器(FlipServer),生成预览素材、帧图片以及对素材做其它格式的转换工作。如素材还需要进行编目则可利用元数据服务器(MetaServer)提供的编目功能进行。经过上述三个步骤后的素材,就是用户编辑好的能够进行发布或其它用途的素材。在此,能够进行利用存储服务器(StorServe)对编辑好的素材进行保存,方便用户以后使用。在以上过程中用户能够根据需求,对不同的内容资料选择不同的处理流程。如:非视音频素材是不需要转码过程的。

2.3.2 数据输出(发布)流程
数据从系统向外部输出、发布的业务流程图如下所示:

数据输出流程图

如上图,在用户下载或发布素材时需要进行数据输出(发布)流程。主要是指在经过元数据管理软件(MetaServer)提供的检索页面检索到素材后,将内容资料传送到其它系统的过程。具体步骤是首先用户在元数据处理模块根据需要检索定位到所需的素材;然后从存储模块把素材迁移到当前在线状态(即编辑或使用状态);接着看输出(发布)的需求,是否需要对素材进行转码,若需要转码则调用转码模块对素材转码,使之满足用户需求;最后,利用数据交换模块把整理好的素材迁移到客户端或是其它系统中。整个数据输出(发布)流程能够根据素材类型的不同,用户能够根据模板或手工来配置不同的流程,使之使用更加自动、方便。
2.4 本方案的优势
2.4.1 体系结构灵活
本方案构建的企业媒资档案管理系统中,用户能够灵活的导入、增加各种数据类型,如:视音频、图片、文档(PDF或Word等格式)以及未来可能产生的全新数据资产类型,以适应和支撑不断产生的新媒体、新业务的需求。视频的存储格式采用高质量的、国际标准的MPEG-2 IBP 4:2:2格式,能够向其它各种常见视频格式的转换。
用户能够灵活定义和修改原有的数据对象的标引描述,满足不同时期对内容数据的不同描述需求,使数据内容在描述上能够与时俱进。
不同类型的数据内容能够使用不同的分类法描述,而且分类法能够允许用户自定义。
针对不同类型的数据内容,能够按照其描述方式定义和调整检索条件,使用户能够在业务发生变化或增加新的描述字段时,灵活调整检索方案。
2.4.2 强大的视音频处理
能够对视音频文件自动进行后台MPEG-4流媒体转换生成,关键帧分析、抽帧等处理,减少人为干预的工作量。视频格式转换应该支持DVD、VCD、DV、AVI、WMV等常见格式与标准MPEG-2存储格式之间的转换。
编目时要求实现对视音频的逐帧编辑
编目时能够手动添加和删除关键帧,并能够对关键帧进行描述。关键帧的属性能够自定义。
数据内容能够添加不同的附属文件,如:宣传海报、相关照片、相关文档等,附件的描述属性要求能够自定义。
2.4.3 能够管理各类数据资源
本方案采用Mars Media软件平台,该平台完全是基于对象型设计的通用数据管理平台,除专门为视音频数据设计的处理功能外,还具备管理各类不同数据类型的能力,如:word、excel、pdf、dwg、mp3等等。
经过数据的交换导入,各类不同类型数据都能够进入系统的管理范围,而且不同类型数据的建模和管理,都能够按照各自的数据特色,分别设计其建模体系,检索方式等,以适应各种不同数据类型的管理需要。
2.4.4 海量数据多级存储
本方案设计的媒资档案管理系统基于成熟的Mars Media管理平台,支持海量数据的多级存储体系,所谓多级存储,是指在线磁盘阵列、近线磁带库、离线磁带架相结合的数据多级存储体系,软件系统能够按需要将所需特定数据(如:不常见的历史资料)自动归档到磁带库中一份,以实现海量存储设备的最佳性价比,同时确保磁盘阵列中数据的安全,而且存储容量能够无限扩容。
2.4.5 成熟稳定的基础软件平台
本方案采用的Mars Media 软件平台是一个经过多年实际项目检验的成熟平台,集成各类通用数据对象的管理能力,而且完全融合我公司媒体领域多年的视音频管理经验,具备强大的视音频处理功能,运行稳定、可靠。而且具备多个案例的成功实施、运行经验。
因此,经过Mars Media,企业完全能够为企业建立一个科学、稳定、高效的媒资档案管理系统。
2.4.6 软件强大的跨平台运行能力
Mars Media软件的主体模块全部基于标准的Java架构开发,能够适应任意的操作系统和主机环境,除Windows外,还能够方便的移植到Linux 、Unix等各种不同的操作系统环境中。
第3章 系统功能描述
由上述的系统结构设计,本方案设计的企业媒资档案管理系统基于我公司成熟的Mars Media软件平台实现,其功能能够分为数据内容管理与数据存储管理两个层面。
具体来讲,系统能够具备如下方面的功能:资料整理上载、资料编目标引、数据海量存储、资料查询输出、资料安全控制、业务统计分析、系统维护、网络配置、应用定制开发等功能。具体说明如下:
3.1 资料整理上载
对于现有模拟形式的音像节目来讲,需要利用数字上载工作站将节目进行数字化处理、上载。按照音像资料处理的标准,上载工作站需要采集、生成高质量的Mpeg-2格式、8—10Mbps的数据文件,用来进行节目资料的长期保存和二次利用。对高码率视频,本方案的压缩格式采用国际标准的Mpeg-2 IBP 4:2:2 格式,经过各类标准的硬件或软件都能够进行MPEG-2解码,都能对档案库中存储的节目资料进行回放。根据项目的实际情况,需要配备上载工作站,并经过网络与中心媒资档案室连接在一起。各部门编码生成的Mpeg-2文件首先缓存到工作站本地的存储目录中,中心软件系统的数据交换模块会实时监测各上载工作站的缓存目录,将新压缩生成的高质量数字节目自动抓取到存储中心的磁盘阵列,完成数据由采集编码前端向存储中心的上载。
采集生成的高码率MPEG-2节目主要用于节目资料的长期保存、下载输出、以及再次利用等。为保障MPEG-2节目的高质量采集,系统采用专业的上载编码器配合上载软件模块来实现。能够根据具体需要对节目选择不同的码率和GOP组合,充分满足各类需求。高码率MPEG-2动态图像能够实现视音频信号的高保真,满足长期存储和向各类不同应用的视频格式转换要求,以及库存节目进行二次利用、制作的需要。
在设计上载整理系统时,主要注重以下几个功能:
A、采用先进的分布式组件技术,确保系统组件灵活性和开放性。从而建立了一个易于操作的标准和开放系统平台;只需升级软件和图像卡就可实现系统的扩展和升级。
B、采集码率可由用户灵活定义。高码流素材按照存储机制将暂时放到上载工作站的存储体里,经过交换服务器将其传送到存储中心,进入多级存储的管理范围。配合系统提供先进的纯软件转码中心,实现多种不同格式间的互转,生成检索和浏览所使用的低码流Mpeg-4节目等。Mpeg-4节目将直接保存到存储中心的在线磁盘阵列上,以备实时检索和点播。
具体采集步骤如下:
1．建立素材模版
在采集数据之前,需要做好准备工作,使用人员能够根据素材类型的不同,编制出不同类型素材的采集模版,供各种素材录入或上传时使用。
2．采集数据
在数据采集过程中,主要是首先由数据交换模块检测用户系统固定的目录内是否有新的文件,如有新的文件且需要上传保存时,则由交换服务器进行数据迁移。如若需要其它效果的视频素材,则可经过转码模块进行转码。如还需编目,则可利用元数据处理模块进行编目。等需要进行的所有操作都完成后即可把素材数据进行保存完成采集过程。
对于其它文档、数据来讲,主要经过统一的资料处理,经过数据交换软件,将其从不同来源收集到存储中心,以备作详细编目和统一存储。
3.2 视频转码分析
上传到存储中心的视音频资料,根据需要能够将采集好的标准Mpeg-2文件转码成浏览码率的Mpeg-4 wmv等格式,经过浏览码率资料进行节目的编目、在线浏览等,完成对视音频资料的全面管理。
视频转码模块,还能够方便的实现标准存储格式与各类不同用途的视频格式进行相互转换,以满足库存音像资料的各种不同类型应用,如:在线网络浏览、视频二次编缉、DVD刻录、录像带输出,甚至播出等等。

3.3 资料编目标引
3.3.1 编目标引建模
经过软件系统的元数据管理中心,用户能够灵活、方便的对上载到系统中的各类数据资源进行编目和标引,而且对各类数据资料都能够适用,不论其是视音频、文档、或是其它数据,都能够灵活制定对应的编目体系,对不同类型数据进行描述建模,来适应不同类型数据对象的管理要求。
由于视频或音频文件是一种不能由一个具体数值来描述的非结构化数据,如何把这些非结构化的数据转换成能够用数据库来记录的结构化数据,是这个模块所要完成的主要功能。此模块主要具有音像资料类别判定、标引录入、审阅等功能,
视频内容的描述是经过元数据来完成的,经过输入属性值来完成由非结构到结构化的转换。
由于不同的数字资料分类的方法不同,应用时所要检索和查询的属性也会不同。例如:新闻类的资料比较重视时间性、比较短小,而影视类的资料比较重视题材和故事内容,系统将对不同类型的音像资料定义不同的元数据集,来描述它们。
任何音像资料在做标引之前都必须判断其所属类型,选定后系统将自动调用其相应的元数据,生成标引界面供标引工作人员录入。最后,经过审阅的功能,检查标引信息的正确性和完整性,审查经过的标引将进入数据库进行保存。
系统对不同数据对象的描述建模体系中应用了先进的XML数据交换技术,从而使各类元数据以及对象模型的定义与增添变得十分灵活。在没有应用XML的系统中元数据一旦被定义就很难再做修改,随着业务的发展,某一天可能因业务或应用需要增加一种对视频描述的新属性,在原先的系统中就需要开发人员重新修改数据库表结构、重新编写代码,这样就会带来很多复杂的开发工作。由于系统利用了XML技术,工作人员应用系统提供的对象建模功能,能够随时增加任何一项新的属性即新的元数据,如果对系统中定义的元数据不满意或希望增加新条目,能够完全由操作人员自己完成修改工作,当标引端调用这一类型的元数据时,系统将生成新的标引窗口,而且在索引端会提供新的索引条目,从而使元数据的维护成为可能,降低了系统对开发商的依赖程度。
编目系统是否完善直接关系到编导在查询资料时的准确性和方便性,为了提高该系统的使用效率,系统的编目体系着重设计如下功能:
A. 各类数据资料的编目体系和属性均可在系统初始化建模时自定义,很好的满足了企业的不同要求,并增强了系统的扩展性。包括分类类型的定义,各类型属性的加删,以及各种属性的显示方式,次序,是否多值,是否学习等各种个性设置。
B. 设置多种分类方法:系统完全支持颁布的编目标准。而且能够根据企业的情况,定制新的分类方法和编目属性,具有很强的针对性和扩展性,分类方法的自由添加为以后新的分类方式的出现提供了方便。还能够使一种资源能够归属到多种分类类型中,方便了用户的使用和查找。
系统能够方便的导入音像资料建模的国家标准,或者自定义的建模标准。国家标准的节目描述模版如下:

C. 数据档案详细编目:在各类数据的建模体系基础上,为不同的数据资源添加详细编目信息,使不同的资料资料能进行分类标引,并提供分类辅助标引手段,提供分类标引的维护功能,能够利用主题词,关键字等对资料标引,在主题词确立的完成后引入安全权限机制,保证用户标引信息的安全性。同时也提供主题词的维护功能
软件对已经上载到中心档案库中的视音频资料进行编目、标引的界面示意图如下:

3.3.2 视频关键帧抽取
关键帧检索是视音频资料在网络上进行检索、发布必不可少的功能,有了关键帧抽取功能,节目检索如同文字检索一样,用户访问时,能够检索到关于视频的标题、描述,以及影片中的各个关键画面,而且能够从某个关键帧开始,浏览、观看一个节目的不同部分。
节目转码完成后,软件根据要求,自动完成相应关键帧的自动抽取,包括定时抽取、根据视频内容的自动转场抽取等,当视频画面的内容的变化量大于用户预先设定值时,自动提取画面首帧,加入视频编目描述信息系统内的元数据库,提高系统的编目工作效率,
这些视频元数据实时进入元数据服务器的数据库,在管理系统中就如同管理其它图像文件一样进行视频管理和发布,当然,因为视频包括更多的附加索引信息,因此能够在系统中定义更多的其它元数据。
软件界面如下:

3.3.3 附件资料上传
对于每个视音频或者其它数字文件,除了对主文件进行编目描述外,还能够上传与其相关的各类附件资料,如:音视频的文本稿件、宣传图片、附属其它信息等。
经过附件资料的关联和上传,在检索到需要的数据后,还能够浏览、查看相关的附件信息。
软件界面如下:

3.4 海量数据存储
3.4.1 海量数据多级存储体系
根据企业的业务需求,系统需要存储的数据量非常大,一期要求达到30TB的数据存储容量。如此海量的数据存储规模,必然需要科学、稳定的海量存储管理软件的支持。
本方案采用的Mars Media软件平台,具备强大的数据多级存储模块,支持强大、灵活的海量数据多级存储体系。
所谓多级存储,是指在线磁盘阵列、近线磁带库、离线磁带架相结合的数据多级存储体系,能够安装业务需要将不同类别的数据合理的分配到不同的存储设备中,来达到存储资源的最佳利用与性价比最优,而且充分满足了长期存储情况下的数据安全需要。
根据系统的业务需求,技术方案对多级存储系统采用了基于SAN存储网络的设计,配备磁盘阵列、磁带库两级存储设备,经过光纤交换机与存储服务器构成SAN存储网络。SAN网络基于先进的2Gbps光纤标准,数据传输快速,高效。
在这种多级存储体系中,磁盘阵列用来保存常见的、适用频率高的数据资料,能够被使用者快速调用,数据流磁带库由于其存储量大、安全可靠的特性,用来长时间保存不经常使用的历史资料,经常使用的重要资料,也能够归档到带库,作为安全可靠的数据后备,以备在线盘阵一旦故障的情况下,还能够确保数据的安全使用。
A、 在线存储
在线存储采用磁盘阵列来实现,采集整理的各类数据,如MPEG2和MPEG4节目,先存储在本地视频编码器硬盘上,由数据交换服务器统一调度上载到SAN磁盘阵列,进入海量存储系统的管理范围。
B、 近线存储
近线系统用来保存更大规模的数据资料,系统重点考虑到了近线系统的与在线系统的数据交换性能,数据的存储可靠性,系统运行成本,以及系统的扩展性(容量与性能)。
近线存储设备采用自动化的数据流磁带库设备,在存储管理软件模块的指挥下,自动完成数据的多级迁移和调用。存储管理软件模块具备强大的海量数据多级存储能力,除了在线磁盘阵列存储外,还能够控制磁带库等近线存储设备,实现海量数据长时间的多级存储与调度。
C、 离线存储
随着时间的推移,系统数据量会不断增大,考虑到更长时间历史数据的保存,存储管理软件支持数据流磁带出库的离线保存方式,离线存储在数据量超出近线带库保存容量的时候来使用。
离线存储用来保存更大规模的数据资料。在线存储和近线存储的数据都是系统自动实现,能够实现实时数据交换和存储容量之间的自动平衡,对实际业务中的数据,其访问量随着时间的推移而急速衰减。对访问量较小的数据完全能够将其从带库中取出,进行离线存储,为新数据、访问量大的数据腾出宝贵的存储空间。离线的数据流磁带只要上架保存就可,用条形码作为标识,按类、时间等方式管理存放。
D、 存储网络
存储网络既能够支持传统的以太网方式,由能够支持SAN结构,使大容量数据采用FC传输。考虑到系统的大数据量以及高效吞吐的要求,方案采用SAN结构的存储网络,将磁盘阵列、磁带库和相关服务器统一连接到SAN网络中,完成数据的高速访问和调度。
3.4.2 数据多级存储的实现
u 存储任务管理
总体的存储任务管理调度由”存储控制”软件模块完成,”存储管理”接受业务层数据迁移调度的指令,并把完成数据在不同存储设备间搬移的工作分配给”数据迁移”模块。
根据数据迁移量的情况,系统中能够配备多个”数据迁移”模块,分别由不同的主机完成数据迁移的任务,彼此互相协同的并行工作,这样,中心存储区的数据搬移、调度等处理工作能够并发进行,从而保证存储系统高效、稳定的运行。其主要功能包括:接受应用层管理与检索指令、任务调度、下达数据搬移指令、反馈提示信息、系统设置及管理等等。
u 数据归档与恢复
”数据迁移”模块接受存储迁移的调度命令,主要完成把 数据从原始存储位置迁移到目标位置的工作,安装有”数据迁移模块”的数据搬移工作站经过光纤通道分别连接磁盘阵列、磁带库。”数据迁移模块”负责整个归档/恢复过程的执行,完成磁盘阵列、磁带库之间的数据归档与恢复。
u 磁带库机械手控制
”机械手控制”软件模块负责操作控制磁带库的机械手,它配合相应的归档/恢复命令,来操作机械手抓取磁带并放入相应的驱动器,从而与数据迁移器配合来完成具体的归档/恢复任务。由于本模块经过底层的硬件控制,直接驱动带库机械手,因此系统中同一时刻只能有一个存在。
u 离线磁带管理
”存储服务器”还有一个附加功能,就是对离线的出库磁带进行管理。本功能允许当 数据量达到一定程度,超出在线和近线存储容量的时候,不经常使用的磁带能够自动或按照事先制订的策略从磁带库中吐出来,管理员能够人工将其保存到离线的带架上,可是这盘磁带的离线保存位置以及其数据对象信息已经被软件系统所记录,即软件同样能够方便的管理离线的数据。例如,如果应用层的 信息管理、检索界面请求恢复一个位于已经被取出的磁带上的 信息时,相应的磁带状态将变成”请求”,并要求操作员把这盘磁带重新装入带库,以备系统进行数据恢复和调用。
本模块允许将那些不常见的数据磁带放到带架上,以空出近线磁带库的存储空间,来保存其它更为常见的数据。可是,它的重要特征就是软件还在管理已经被移出磁带库的离线数据磁带。在软件中,用户能够方便的查询、浏览离线带架上的各种磁带状态与数据信息。
u 存储系统管理
”存储控制”模块同时完成软件底层各种相关参数及用户组设置,主要包括如下方面:迁移设置、磁带库设置、对象路径监视、对象的设计组成、策略条件监视、数据分类设置、存储位置设置、以及冗余纠错设置等等。
u 存储系统维护
负责系统的整体维护,显示各种维护信息,主要包括:能够随时方便的获得整个系统的相关介质运行状态、磁带驱动器的使用状态、所有数据流磁带的使用状态、以及所有归档对象的存储状态等等。管理员能够根据相关信息来进行系统各方面的维护。
u 磁带冗余纠错
数据流磁带经过一段时间后可能会出现问题,从而导致所保存的数据损坏,为解决这个问题,Mars Media的”存储服务器”软件提供数据流磁带的冗余纠错功能。
”冗余模块”采用了专利技术的可移动存储介质冗余数据保护方法,其原理示意图如下:

校验磁带的生成

数据磁带的恢复
由上图,冗余校验机制允许将带库中的n盘磁带(n值能够根据实际需要自由设定)进行按位异或计算,即先将两盘磁带进行按位异或,得出的结果再与下一盘磁带进行按位异或计算,以次类推,将n盘磁带全部进行按位异或计算后生成的冗余数据作为备份容错,写入单独的容错磁带。这样,当这n盘磁带中有任何一盘磁带损坏的话,软件能够根据冗余数据和其它的n-1盘磁带同样经过按位异或算法,将损坏的磁带恢复。而且如果这n盘磁带中有不止一盘磁带存在部分损坏,甚至每盘磁带都有不同程度的损坏,只要每盘磁带损坏的位置不互相重叠的话,依然能够经过冗余数据对每盘磁带损坏部分进行恢复。本方案建议采用Raid冗余纠错方式。
数据多级存储管理软件模块的操作界面示意如下:
A、特定数据按照具体存储策略由磁盘阵列向磁带库的归档保存:

B、数据流磁带库设备管理:

C:带库中数据流磁带介质的管理

3.5 多媒体资料查询浏览
经过软件系统,对档案库中各类数据资料进行查询浏览,是对数据建模与编目结果的调用。
系统的数据检索完全基于标准的Web界面,用户经过网络能够连接到中心元数据服务器的任何电脑,都能够在授权的情况下,方便的查询自己需要的任何信息。
软件