基于分级存储技术的媒资珍藏库建设与应用.pdf

Engineering，2 0 2 3,47（6)54-57.HU Y B.Construction and application of precious media assets library based on hierarchical storage technologyJj.Video文献引用格式：胡瀛斌，基于分级存储技术的媒资珍藏库建设与应用 .电视技术，2 0 2 3，47（6）：54-57.ARTS&DESIGNideoEngineering器件与设计中图分类号：TP311.5文献标识码：AD01:10.16280/j.videoe.2023.06.012基于分级存储技术的媒资珍藏库建设与应用胡瀛斌（浙江广播电视集团，浙江杭州310005)摘要：浙江广播电视集团从2 0 世纪8 0 年代以来积累了大量珍贵的历史影像素材。然而，在日常管理中，老旧的存储介质存在无法长期保存和读取、调用困难的问题。现代技术的快速更替，不断推动着广电行业的发展。浙江广播电视集团充分认识到这批历史影像素材的重要性，着手推进珍贵素材数字化建设工作，依托“中国蓝云”和通用数据分级存储系统，建设了一套媒资珍藏库系统，以实现珍贵素材的永久保存和灵活调取。基于此，介绍媒资珍藏库的设计、功能和应用场景，为历史素材数字化建设提供参考。关键词：历史影像素材；分级存储系统；媒资珍藏库Construction and Application of Precious Media Assets Library Based on Hierarchical Storage TechnologyHU Yingbin(Zhejiang Media Group,Hangzhou 310005,China)Abstract:Since the 1980s,Zhejiang media group has accumulated a large number of precious historical video and image materials.However,in daily management,the old storage mediums cannot be saved for a long time,and it is difficult to read and access them.Therapid replacement of modern technology is constantly driving the development of the broadcasting and television industry.Zhejiangmedia group fully realizes the importance of historical video and image materials and starts to promote the digital construction ofprecious materials.Basing on the“China blue cloud and the universal data hierarchical storage system,Zhejiang media group hasbuilt a precious material library to achieve permanent preservation and flexible access of precious materials.This paper introduces thedesign,functions,and application scenarios of the precious material library,providing reference for the digital construction of historicalmaterials.Keywords:historical video and image materials;hierarchical storage system;precious media assets library0引言珍贵的历史影像让人怀念。改革开放40 年来，浙江广播电视集团作为浙江重要的新闻传播媒体，一代代浙江新闻工作者用话筒和摄像机记录了浙江时代发展的沧桑巨变，留下了约30 万小时的历史珍贵影像素材和非公开特殊资源。浙江广播电视集团正在积极推进历史素材数字化建设工作。为了实现这批珍贵素材的长期保存和灵活调取，同时保证素材的高安全性和完整性，浙江广播电视集团在通用数据分级存储系统的基础上，额外单独设立了媒资珍藏库应用（以下简称珍藏库），具备素材上载、归档、回迁、素材编目及后台管理等媒资应用功能。本文以媒资珍藏库的建设为例，详细介绍系统架构和功能实现，从实际应用方面探讨珍藏库的必要性和实用性。1整体架构1.1通用数据分级存储系统架构通用数据分级存储系统的总架构如图1所示，作者简介：胡瀛斌（1991一），男，本科，工程师，研究方向为计算机应用和广播电视融媒体技术。54电视技术第47 卷第6 期（总第57 1期）55电视技术第47 卷第6 期（总第57 1期）ARTS&DESIGN电视教重ideoEngineering器件与设计主要包括分级存储服务器集群、蓝光归档服务器集群、数据流磁带库、FC在线存储设备、ODA蓝光盘库以及以太网和光纤交换设备。系统通过分级存储服务器或集群，对外提供标准文件系统协议（如NFS、C I FS、S3等）与各应用系统对接，后端由数据流磁带库、在线存储、ODA蓝光盘库和光纤交换机组成一个高速传输的存储区域网络（StorageAreaNetwork，SA N），将介质存储组成一个巨大、可扩展的存储资源池，为用户提供多副本的数据存储能力 2 。通常情况下，在分级存储模式中，在线存储用来存储访问频率较高的数据，多采用成本较高、速度快的RAID磁盘阵列作为存储介质。而数据流磁带库和ODA蓝光盘库等成本较低的存储设备则用来存储访问频率低并且需要长期或永久保存的数据31.2媒资珍藏库系统架构媒资珍藏库主要用于存放浙江广播电视集团历年来的珍贵历史影像资料等重要资产。作为完全独立的数据存储空间，为保证数据安全性，珍藏库与所有媒资管理系统保持各自独立。如图2 所示，珍藏库系统由上载站点，数据库及管理服务器，迁移归档服务器以及与数据流磁带库、ODA蓝光盘库互通所需要的驱动管理服务器组成。2 台上载工作站均部署在浙江广电集团大院，配置较大容量的SSD硬盘，用于上载素材的本地存储，同时通过以太网交换机与云端进行网络打通。数据流磁带库和ODA蓝光盘库则部署在国际影视客户端服务器客户端服务器Windows ServerLinux/UNIXServerCIFSNFSLAN分级存储管理服务器蓝光归档及归档服务器集群服务器集群光纤交换机蓝光盘库FC在线存储数据流磁带库图1通用数据分级存储系统架构图珍藏库本地站点1（存储在本地）文件迁移分级存储带库服务盘阵珍藏库数据库及管理服务器驱动管理珍藏库服务器蓝光盘库本地站点2（存储在本地）图2珍藏库系统架构图电视技术第47 卷第6 期（总第57 1期56ideoEngineeringPA器件与设计ARTS&DESIGN器件与设计中心，两个库体被通用数据归档平台和珍藏库共用，通过逻辑分区来实现。云端存储及相关服务器资源则利用“中国蓝云”平台调度器进行动态分配。如图3所示，珍藏库上载或入库的资源会生成低码预览文件。预览文件的生命周期默认设置为24h，到期后会自动删除。人库完成后，可进行一层编目，编目字段根据资源中心需求配置。经编目审核通过后，系统自动按策略进行带库归档和蓝光归档。归档完成后，检索门户页面有归档状态显示，并提供自动或手动方式删除原上载文件。需要下载资源时，用户需登录检索门户找到相关资源，如需要预览素材，可手动生成低码预览文件，然后提交下载审批。待下载审核通过后，资源会回迁到上载工作站本地硬盘的指定文件夹里，最后通过介质输出，用户手动删除下载文件。2具体功能2.1独立上载专用上载客户端支持本地硬盘、P2、蓝光、SDI信号等介质上载功能，支持非编剪辑功能，可提供素材的剪辑、掐头去尾、拼接等整理功能，还可以根据不同格式进行转码上载。2.2外系统对接珍藏库通过统一数据交互接口与浙江卫视新闻制作网对接，即可将素材从浙江卫视新闻制作网直接归档入库珍藏库并继承元数据。该接口服务由珍藏库侧控制开通或关闭功能。2.3媒资管理珍藏库同时也是一个小型媒资管理系统，具有媒资生产功能，支持简单编目、编目审核、媒资检索、媒资下载及资源统计等功能。2.4策略管理珍藏库可对素材归档、素材回迁、文件删除、优先级及生命周期等进行策略配置管理 4。归档策略默认配置为“2 份蓝光”“1份磁带+1份蓝光”和“1份磁带+2 份蓝光”三种模式，也可根据用户需求灵活配置。归档策略还可以配置将不同用户的文件存放在不同的盘匣。回迁策略默认配置为从磁带库回迁，但在手动情况下，也可以选择从蓝光盘库回迁。删除策略默认配置为归档成功2 4h后删除预览文件，7 2 h后删除上载文件。2.5用户管理由于珍藏库的安全性和独立性区别于集团的统一认证，因此，只能通过本地认证新建用户，可配置角色权限和存储空间，也可以根据用户分配指定蓝光盘厘。现阶段，系统提供三种角色权限。（1）运维管理人员权限。运维管理人员是珍藏库及后台物理设备的管理者，对珍藏库的全局用户账号管理以及全局资源可见。（2）资源管理人员权限。资源管理人员作为资源的最高管理者，具有对资源上载、编目、审核、下载、应用的最高权限，对珍藏库的全局资源可见，（3）普通用户人员权限。普通用户人员是珍藏库的使用者，可单独配置上载权限、下载权限、浏览权限、审核权限等。系统提供基于频道租户的相关权限，管理自有所属资源权限，对其他租户资源不可见2.6检索门户珍藏库检索门户利用“中国蓝云”资源池，参上载归档流程P2上载归档带库提交提示用户非编剪辑人库蓝光驱动器上载或拼接层编目编目审核手动或自动删除上载合成文件归档蓝光盘库文件SDI信号上载检索下载流程打开珍藏库登录账号检索珍藏选择相关回迁到指定介质下载并手动软件库资源资源上载工作站删除下载文件本地图3业务流程图电视技术第47 卷第6 期（总第57 1期）编辑：张玉聪编辑：张玉聪ideoEngineeringP器件与设计ARTS&DESIGN照集团现有智能媒资管理系统多模态检索门户搭建，支持多模态检索，可通过图片、视频、语音等方式输人检索，支持全文检索和高级条件检索，对多个编目字段进行匹配，支持关键词联想3实际应用3.1珍贵录像带数字化浙江广播电视集团资源中心的磁带库房里，存放着各式各样的珍贵录像带。不同制式的录像带需要不同的录像机来读取，而录像机数量有限且有使用寿命。一旦录像机损坏，对应制式的录像带也就再也无法观看 5。资源中心可通过上载客户端，将这些不同制式的珍贵录像带统一转成符合收录要求的数字化资源，经过简单编目后长期存储在ODA蓝光盘库中，方便日常管理和二次开发及利用。3.2浙江卫视珍贵资料归档浙江卫视历年制作的纪录片、专题片、综艺节目以及包含历任党和国家主要领导人、省市自治区主要领导人的新闻节目及部分非公开素材，主要存储于集团中心媒资系统和智能媒资系统，但仍有小部分素材因不符合资源中心媒资收存要求或是不宜归档在集团媒资系统的保密素材。对于浙江卫视来说，这些素材都是频道的宝贵财富。这批素材由浙江卫视自行通过珍藏库系统上载、编目、人库后保存在ODA蓝光盘库中。此外，珍藏库与卫视新闻制作网相互对接，卫视管理人员只要在珍藏库侧打(上接第53页）4结语融媒可视化系统在广播媒体融合改革和广播业务系统中的应用是非常重要和不可或缺的，为广播突破目前发展瓶颈提供了一个可自由发挥的舞台。在实际应用中，提升系统的稳定性、响应速度、用户体验和数据安全性是系统未来发展的趋势，从而提高广播系统的使用效果和观众的观看体验，为广播的“可视化”渠道融合提供有效的平台支持。参考文献：俊.计算机网络技术在广播电台自动化制播系统中的运开接口服务，即可直接从卫视新闻制作网发起归档珍藏库请求，也可以从珍藏库发起回迁到新闻制作网请求。4结语珍贵历史影像资料的长期保存和有效管理是浙江广播电视集团媒资管理的重要部分。珍藏库于2023年2 月投入使用以来，累计已保存珍贵历史素材约130 0 余条。珍藏库的应用推进了集团历史珍贵影像数字化管理工作，也释放了大量存储空间，节省了高额存储成本，将为浙江广播电视集团未来新媒体融合发展和栏目内容创新研发提供更好的平台支撑。参考文献：1李欣桐，郎劲松.电视新闻历史素材数字化问题论析 1社会科学战线，2 0 2 1（11）：2 59-2 6 2.2张莹.中国蓝云通用数据分级存储系统设计与建设 CJ中国新闻技术工作者联合会2 0 2 2 年学术年会，2 0 2 2.3 缪辉宇.分级存储技术在数字媒体资源管理中的应用 .电脑知识与技术，2 0 10，6（2 0）：56 0 4-56 0 5.4杨海生.大数据技术在高清媒资系统中的应用研究 .广播与电视技术，2 0 16，43（2）：34-36.5 名.录像带的最终归宿 J.机电兵船档案，2 0 19(3):119.用 .中国新通信，2 0 2 1（4）：135-136.2 周悦颖.电台导播管理系统的实现及应用 .广播电视信息,2 0 2 0(12):40-43.3 朱锦文.广播电台导播系统的数字化改造 J.电声技术，2015,39(8):78-80.4 付燕.广播电台导播系统的改造 .广播与电视技术，2013(12):68-69.5周旭辉.媒体融合环境下的电视直播技术创新应用 J.现代电视技术，2 0 2 1（4）：113-118.