基于卷影拷贝服务技术的海洋实时观测数据备份.pdf

38卷海洋信息技术与应用http:/海洋信息技术与应用JOURNAL OF MARINE INFORMATION TECHNOLOGY AND APPLICATION基于卷影拷贝服务技术的海洋实时观测数据备份吴永芳，王晓瑞，张学灵，司佳，陈刚（国家海洋信息中心，天津300171）摘要：为了提高服务器对海洋实时观测数据的备份性能，提出了对NTFS文件系统中海量数据基于卷影拷贝服务的备份方案。该方案解决了传统备份方案中备份时间过长、不能有效备份的问题。将本文备份方案和传统备份方案的性能进行了对比，并对备份的数据进行了恢复演练。实验结果表明，基于卷影拷贝服务的备份方案能够使海洋实时观测数据的备份性能获得较大的提升，且基于该方案备份的数据是可用的。该方案能够进一步保障海洋数据的安全存储。关键词：备份；卷影拷贝服务；性能；海洋实时接收数据；海量小文件中图分类号：P717；TP309.3文献识别码：A文章编号：2097-0307(2023)03-0134-06Doi:10.3969/j.issn.2097-0307.2023.03.002Research on backup of ocean real-time observation data based onvolume shadow copy serviceWU Yongfang,WANG Xiaorui,ZHANG Xueling,SI Jia,CHEN Gang（National Marine Data and Information Service,Tianjin 300171,China）Abstract:To improve the backup performance of ocean real-time observation data in the server,a volume shadow copyservice based backup scheme for massive data in the NTFS file system is proposed.This scheme solves the problem oftoo long backup time and ineffective backup in traditional backup schemes.In this paper,the performance of the backupscheme is compared with the traditional backup scheme,and the recovery drill is carried out for backup data.Theexperimental results show that the backup scheme based on volume shadow copy service has greatly improved thebackup performance of marine real-time observation data.The data backed up based on this scheme is available,whichfurther guarantees the safe storage of marine data.Keywords:backup;volume shadow copy service;performance;real time ocean receiving data;massive small files第38卷第3期2023年8月收稿日期：2022-11-02；修订日期：2023-01-03作者简介：吴永芳，硕士，工程师，主要从事数据备份和恢复、服务器运维研究，电子邮箱：通信作者：张学灵，学士，工程师，电子邮箱：随着科学技术的进步，人们获取海洋数据的手段越来越多，已经可以通过陆地、海面、海底、水下、航空航天等多种监控和监测设备获取到大量不同时间段、不同尺度、不同地区的数据，其中非结构化数据已占到总数据量的 60%70%1。按照数据获取到发布的时间长短，海洋数据可以分为海洋实时观测数据和海洋延时观测数据2。海洋实时观测数据的获取方式主要包括浮标、雷达、志愿船和全球导航卫星系统（Global NavigationSatellite System，GNSS）等。接收服务器接收到海量的观测数据后，需要进行质控和备份3。1海洋实时观测数据备份的意义数据备份是指为防止操作失误等人为因素或系统故障等自然因素导致数据丢失，而将数据通过一定的方法复制到其他存储介质进行保存的过程4，目的是在需要时能迅速、准确地找到目标数Vol.38,No.3Aug.20233期http:/据进行恢复5。海洋实时观测数据的获取大多是经过艰苦的海上作业，借助昂贵的数据采集和分析设备获取得来的，海洋项目的完成需要耗费大量的人力、物力和财力，海洋数据获取的成本非常高，许多数据一旦丢失难以重新采集。与陆地数据采集相比，海洋调查具有高风险、高投入的特点。因此需要重视海洋数据的安全存储，其中就涉及对接收服务器中的海洋数据进行备份6。2NTFS文件系统中海洋实时数据的备份现状目前Windows服务器中广泛使用的文件系统类型为NTFS（New Technology File System）。NTFS相对FAT文件系统更加复杂，但也具有非常明显的优势：安全性更高、不易产生碎片并能够获取到更大的存储7。NTFS文件系统中采用的引导记录、主文件表 MFT 的数据格式以及 B+树数据结构，可以为操作系统和数据库提供非常详细的索引，这为文件查找带来了很大的便利，但在同一个分区具有很多小文件时，系统空间分配、读写磁盘时会频繁地访问 MFT，因此 MFT 对 NTFS 文件系统的性能有着至关重要的影响。海量小文件则意味着将有大量索引查询、元数据读取、数据读取的请求操作8，因此查找的速度受到了很大的限制9。海洋实时观测数据中绝大部分都是KB级别的小文件10，如果利用如基于小文件合并和分层索引的传统备份方式11，在备份前仍然需要先对NTFS文件系统磁盘中的大量小文件进行扫描，以获取元数据信息，扫描操作需要消耗大量时间。例如在对拥有超过2 254万个小文件的磁盘进行备份时，扫描时间接近3 h，而备份时由于受到元数据管理、缓存机制以及数据布局等因素的限制8，备份时间超过63 h。因此在采用传统备份方式对海洋实时观测数据进行备份时，不但备份性能非常低，而且长时间备份也影响了接收服务器本身的CPU、内存以及磁盘的性能，使得系统的整体读写性能受到严重影响。因此，本文尝试基于卷影拷贝服务（VolumeShadow Copy Service，VSS）技术对实时观测数据进行备份，以期提高对海洋实时观测数据的备份性能，降低对观测数据的传输和质控的影响。3卷影拷贝服务卷影拷贝服务（VSS）是Microsoft Corporation在服务器操作平台上提供的一种服务，是Windows下的指针型快照技术，具体来说它通过在卷管理模块上加入快照功能，创建时间点映像，即卷影副本（只读副本），从而实现数据的快速备份和恢复，同时不会影响到系统性能。基于这一点，卷影拷贝服务非常适合用于海量数据的备份12。基于卷影拷贝服务的备份方式，是基于快照的块级数据备份方式，即把快照技术和备份技术相结合，可以保证数据备份时的一致性13，与传统备份方式相比，可以避免因备份数据量较大造成备份耗时太长，无法为用户提供服务的问题14。因此块级备份是目前备份性能最高的备份方式之一15。3.1卷影拷贝服务的原理一个完整的VSS解决方案由以下四个基本部分组成：（1）VSS请求程序：请求创建卷影副本的应用程序，本文中指的是数据备份系统。（2）VSS服务：可确保其他组件相互通信并协同工作，是Windows操作系统的一部分。（3）VSS写入程序：保证备份数据一致性的组件。在创建卷影副本的过程中，如果有如SQLServer或者Windows系统中的注册表等应用程序继续写入数据会造成卷影副本中数据的不一致，从而影响该时间点卷影副本的完整性。（4）VSS提供程序：创建给定时间点卷影副本的组件。程序基于存储阵列（硬件模式）或操作系统（软件模式），本文采用的是后者。卷影副本的创建包括以下两种方法：克隆（Clone）和写入时复制（Copy on Write）。克隆，是在给定时间点对源卷进行完整复制，在此过程中源卷和镜像卷的数据始终保持同步，此镜像卷为只读副本。而写入时复制，不复制源卷，只拷贝数据所在位置的指针，以生成一个快照位图，当有写操作时，需要先把源地址的数据拷贝到一个新位置，再对源地址进行写操作。当需要引用原始数据时，需要将指针映射到新位置（图1）。吴永芳 等：基于卷影拷贝服务技术的海洋实时观测数据备份13538卷海洋信息技术与应用http:/因此写入时复制是创建卷影副本的快速方法14。卷影拷贝服务与请求程序、写入程序和提供程序进行协调以创建卷影副本的流程图（图2）。具体流程说明如下：（1）备份系统对卷影拷贝服务发出请求，卷影拷贝服务会通过vssadmin list writers列举出该时间点所有的写入程序，并收集这些写入程序的元数据信息；（2）每个写入程序都会通过XML（ExtensibleMarkup Language）文件描述其组件，并把信息返回给卷影拷贝服务；XML格式如下：09:00海洋站（3）卷影拷贝服务通知写入程序准备数据以进行卷影拷贝，每个写入程序都会根据需要准备数据，包括完成所有未结束的事务、滚动事务日志和刷新缓存等。随后写入程序会将写入的IO请求暂时冻结几秒钟（可以进行读取IO请求），刷新文件系统缓冲区并冻结文件系统，以确保卷影副本中数据的一致性。（4）卷影拷贝服务通知操作系统创建卷影副本。首 先 通 过 vssadmin 启 用 卷 影 副 本，例 如“vssadmin add shadowstorage/for=E/on=/F”表示对E盘启用卷影副本，F盘作为卷影副本的保存卷。然后通过“vssadmin create shadow/for=/E”对E盘创建卷影副本，创建周期很短，在此期间文件系统的所有写入IO请求都将保持冻结状态。（5）卷影拷贝服务通知写入程序解除对IO请求的冻结。（6）成功创建卷影副本后，VSS将卷影副本通过ntdsutil snapshot mount GUID 挂载到服务器中，并把挂载的位置信息返回给备份系统，备份系统把卷影副本复制到备份存储中。（7）卷影拷贝服务通过vssadmin delete shadows删除快照，并通过ntdsutil snapshot“delete GUID”图1卷影拷贝服务的快照示意图图2使用卷影拷贝服务进行备份的流程图1363期http:/卸载挂载信息。可以看出，基于卷影拷贝服务的备份方式，可以创建高可靠的即时性（Point in time）镜像，不会影响到服务器的整体性能，可以实现数据的快速备份11。3.2备份功能集成到海洋数据备份平台本文在海洋数据备份平台中添加了基于卷影拷贝服务进行备份的模块，备份系统作为请求程序发起创建卷影副本的请求，创建成功后把该快照拷贝到备份存储中，实现了基于卷影拷贝服务对Windows操作系统中海洋实时数据的快速备份。本文对两个海洋实时观测数据服务器 A和 B中的数据集做了实验，并对基于文件复制的传统备份方式和基于VSS的备份方式进行了对比分析。服务器A和B中数据集的属性如表1所示。可以计算得出，服务器A和B的数据集中文件平均大小分别为5.17 KB和2.06 KB。因为两个服务器中的文件数量比较多，尤其是服务器B中数据量更大，单个文件更小。如果采用传统方式，对服务器A中的文件集备份的时间长达59 h。对服务器B中的文件集备份93 h后，进度仅为25%。更换为基于VSS的备份方式后，虽然因为网络不稳定或服务器业务繁忙等原因，导致备份的时长不是非常稳定，但对服务器A和B中的文件集分别备份了 10 次，平均时间分别为 5.28 h 和10.81 h，远远低于传统备份所需要的时间（图3图5）。为了进一步验证基于VSS的备份方式对海量小文件的备份性能，本文又选择了两个服务器分别对两个数据集进行备份，并把该数据集分别放在磁盘容量不同的磁盘中进行对比。服务器C、D中数据集的属性以及在磁盘容量分别为100 GB和300 GB时进行备份的结果如表2所示，可以计算得出服务器C和D的数据集中文件的平均大小分别为16.4 KB和0.11 KB。备份结果用柱状图表示如图6、图7所示。服务器AB文件个数/万6 2289 789文件夹个数/万133799大小/GB307192表1服务器A和服务器B的数据集属性图3服务器A的备份记录图4服务器B的备份记录吴永芳 等：基于卷影拷贝服务技术的海洋实时观测数据备份13738卷海洋信息技术与应用http:/上述两个实验中服务器C和服务器D的配置完全一样。OS 为 Windows Server 2012R2 Standard64位，CPU为4核，内存为16 GB。从上面两个实验结果可以看出，在对服务器C和服务器D中的两个数据集进行备份时，基于VSS备份方式的备份时间大约是传统方式的1/10和1/20，该备份时间和磁盘容量没有明显关系，但文件越小基于VSS的备份方式的性能优势越明显。由于 VSS 采用的是写入时复制的快照方式，可以通过跟踪设备并创建更改的块位图，实现对基于 VSS备份方式的增量备份12，但此时需要保证源卷数据的可用性，不然无法进行恢复。增量备份的位图示意图如表3所示。数据备份系统中对服务器A和B的增量备份如图8和图9，能更加快速地实现对数据的备份。100806040200传统方式备份时间/h基于VSS图5两种方式对服务器A和B的备份时间对比AB100 GB300 GB图6服务器C中数据集的备份结果1009080706050403020100备份时间/min传统方式基于VSS180160140120100806040200备份时间/min传统方式基于VSS图7服务器D中数据集的备份结果服务器CD数据量/GB29.10.37文件数量/万186345磁盘容量/GB100300100300传统方式/min92.186.3178.2176.3基于VSS/min9.7744.9表2服务器C中数据集的大小时间点T0T1T2源卷的状态和数据原始数据：1 2 3 4 5数据已更改：3到3修改后的原始数据：1 2 3 4 5卷影副本的状态和数据无副本：-创建卷影副本：3卷影副本上的差异：3表3增量备份的快照示意图图8服务器A中数据集的增量备份图9服务器B中数据集的增量备份100 GB300 GB1383期http:/3.3海洋数据备份平台的恢复功能集成海洋数据备份平台中必须集成数据恢复模块，在数据丢失时才能进行恢复。恢复的流程和备份基本相反，需要先根据恢复需求把快照数据从备份介质中拷贝出来，然后把快照挂载到恢复的目标服务器中，再从快照卷拷贝到指定磁盘中，最后卸载并删除该快照卷。本文对基于VSS备份的备份集进行了恢复，以验证备份数据的有效性，对服务器A和B恢复结果分别如图10和图11所示。图10服务器A中数据集的恢复可以看出恢复的时间在可以接受的时间范围内，对恢复出来的数据集随机抽取了10个文件，通过certutil工具计算MD5进行了校对，验证了备份数据的可用性。3.4基于VSS备份方式的不足因为基于VSS的备份方式是基于磁盘块的备份，因此特别适合对海量小文件进行备份。但是这种方式的特点决定了只能对整个磁盘进行备份，而不能有针对性地选择某个文件或文件夹，备份的灵活性不如传统方式。4结语本文实现了对Windows中NTFS文件系统基于卷影拷贝服务的备份，通过大量实验证明该备份方式可以大大提高对海量小文件备份的性能，而且通过恢复演练验证了备份数据的可用性。下一步会继续在备份平台中完善对Linux操作系统基于LVM（Logical Volume Manager）的 快 照 方 式16，以及对虚拟机整机基于qcow2镜像格式的快照方式17的研究，更好地为海洋数据的安全存储提供服务。参考文献1曹丽娜.海洋大数据管理与应用技术研究D.舟山:浙江海洋大学,2018.2于婷,刘玉龙,杨锦坤,等.实时和延时海洋观测数据质量评估方法研究J.海洋通报,2013,32(6):610-614.3刘首华,陈满春,董明媚,等.一种实用海洋浮标数据异常值质控方法J.海洋通报,2018,35(3):264-270.4吴永芳,陈刚,张学灵.海洋数据备份平台的设计和实现J.海洋信息,2021,36(2):7-13.5芮冰冰.基于 VMWARE 的 NTFS 文件系统备份与恢复D.哈尔滨:哈尔滨工业大学,2015.6李鹏飞.云平台下数据备份与恢复系统的设计与实现D.成都:电子科技大学,2018.7郭甜.基于软件定义存储的小文件性能优化研究D.武汉:华中科技大学,2019.8林水宾.基于NTFS文件创建的技术研究D.广州:广东工业大学,2015.9高通,王慧,向先全,等.海洋观测资料共享服务平台设计与实现J.海洋信息,2020,35(3):1-10.10 仇玘晏.基于传统备份与重复数据删除技术的备份系设计及实现D.上海:上海交通大学,2015.11 许俊杰.海量小文件存储系统的研究与实现D.青岛:青岛科技大学,2018.12 范轶彦.一种备份与安全结合提高数据可用性的方法研究D.武汉:华中科技大学,2005.13 吴福水.基于卷影拷贝服务的文件系统备份数据一致性的设计D.广州:中山大学,2007.14 任敏敏.一种快照技术的研究与实现D.武汉:华中科技大学,2011.15 贺翔.一种基于NDMP的块级备份和数据管理方法及其实现D.北京:中国科学院计算技术研究所,2006.16 彭星洪.Linux环境下的LVM快照应用研究D.成都:电子科技大学,2012.17 陈雯倩.基于云平台的虚拟机快照存储备份技术研究D.重庆:重庆大学,2018.（本文编辑：崔尚公）图11服务器B中数据集的恢复吴永芳 等：基于卷影拷贝服务技术的海洋实时观测数据备份139