重复数据删除.doc

DoSTOR存储分析 重复数据删除减少浪费受追捧

  Susan/编译　◎ 　2007-09-18　存储在线
      DoSTOR存储分析 9月18日消息：重复数据删除技术如字义所言，就是不存储重复的部分，以减少空间的耗用。透过重复数据删除技术，想办法找出相同的部分，相同的只存储一份，并且以索引技术来记录，一旦需要还原时就能恢复出原来的文件。 

      存储空间不足，一直是IT人员头痛的事，因为不只是要添购存储设备，更要面临调整存储架构后接踵而至的种种设定工作。这些工作的复杂繁琐就不用说了，在扩充存储容量的过程中，更可能需要停机，这会严重影响到企业的正常营运。 

      企业为了保护数据必须定期执行数据备份，这是数据快速累积的原因之一。尤其现今有些企业开始先备份至速度较快的磁盘，再逐次备份至磁带等设备，对于必须赶 在当日下班至隔日上班前完成大量备份的企业而言，磁盘备份是个好方法，备份快、回复也快，但磁盘备份无疑会加速磁盘空间的消耗。 

      虽然磁盘备份快速吃掉存储空间，但企业也绝不会因此而减少备份的次数，因为这会牺牲数据保护的可靠度，增长备份周期换取存储空间只是个舍本逐末的作法。随 着电子化应用的加深，不只是数据备份，每个企业都希望保存自身营运的历史记录，藉此作为企业决策分析的依据，因此未来数据累积的速度绝对是不断提高的。 

      既然很难有好方法可以抑制数据增长，技术研发转而思考：有没有其它的方式可降低数据占用空间呢？近来有一种技术倍受关注，就是“重复数据删除（Data De-duplication）”技术。 

      重复数据删除技术如字义所言，就是不存储重复的部分，以减少空间耗用。以重复性最高的数据备份来说，如果每个备份档的差异只有30%，也就代表有70%的 空间白白浪费。重复数据删除技术就是要想办法找出相同的部分，相同的只存储一份，以索引技术来记录，需要还原时就能回溯计算出原来文件的组成型式。 

      对于重复数据删除技术，有厂商宣称可节省高达500倍以上空间的惊人效果，重复数据删除技术真有这么神奇吗？经过测试发现，要获得节省500倍存储空间的 效果，在某些特定状况下、增加备份次数或许是可能的，在全备份测试中，备份到第5次就测出了节省超过20倍存储空间的成果。
DoSTOR存储分析 VTL整合重复数据删除势头正盛

  Susan/编译　◎ 　2007-09-18　存储在线
      DoSTOR存储分析 9月18日消息：随着重复数据删除技术的兴起，厂商计划进一步扩大重复数据删除技术的应用，包括和更多备份方案结合，如VTL。目前许多厂商已经陆续在VTL上导入重复数据删除功能，同时期望透过这样的整合，推动VTL的普及。 

      虚拟磁带库（Virtual Tape Library，VTL）是基于磁盘的备份系统，透过将磁盘柜仿真成磁带库的方式，让企业在无需更改现有架构和管理的状态下，就能提高备份效率。 

      重复数据删除（Data De-duplication）技术是基于磁盘的一种压缩技术，将数据以算法切割分段处理，经过比对分析后，把重复的数据剔除，因此可压缩数据量。在应用 方面，重复数据删除技术除了应用于远程复制和归档，更主要的是缩减磁盘备份空间。 

      会考虑导入VTL的企业，通常都有大量数据存储备份的需求，加上备份又很占空间，因此，重复数据删除技术与VTL一拍即合。 

      许多厂商更是大胆预计，日后推出的VTL产品都会内建重复数据删除功能。 

      VTL厂商竞相提供重复数据删除功能
      飞康国际（FalconStor）日前推出一款VTL All-in-One，首度在VTL产品上整合重复数据删除功能，同时计划10月份会更新VTL产品线，让所有VTL产品都会具备该功能。 

      FalconStor营销经理张智鸿表示，VTL结合重复资料删除技术是未来的趋势，而他也认为，在不远的未来，重复数据删除将会成为VTL的必备功能。 

      目前HDS、Quantum已经推出整合重复数据删除技术的VTL产品，HP、NetApp则预计第四季会进行VTL产品升级，届时全系列都会纳入重复数 据删除功能。EMC也预计第四季会再将重复数据删除技术与自家的备份方案整合，比如备份软件或VTL，细节现阶段还无法公布。 

      HP目前已经将重复数据删除技术整合在归档产品RISS上，HP企业系统事业群存储方案经理萧舜华表示，预计10月底会推出新一代的VTL产品，届时将会内建重复数据删除技术，此外，还会将重复数据删除整合在自家的备份软件上。 

      在VTL上整合重复数据删除功能，有些厂商视为标准配备，有些厂商则视为选购功能。以NetApp即将在第四季更新的VTL产品为例，重复数据删除会做为 入门级NearStore VTL300的基本功能，但较高阶的NearStore VTL700、VTL1400就必须另外选购。 

      此外，如Data Domain虽不是主打VTL方案，但其具备重复数据删除技术的COS存储服务器，也另外提供VTL授权码。 

      大幅减少全备份占据的存储空间
      一般来说，为了解决全备份（full backup）耗用存储容量太大和备份窗口太长的问题，一般企业会以全备份搭配增量备份（incremental backup），但这样的备份策略仍有不足的地方。 

      以增量备份而言，所能节省的存储空间仍有限。举例来说，若某一份文件只更改档名，然后再另存新档，就会被视为一份不同的数据存放。另一方面，若用全备份配合增量备份，一旦要回复数据时，企业必须分别找出存储全备份和增量备份的磁带，作业就会很繁琐。 

      重复数据删除技术就可解决这样的问题，因为数据比对可降至区块（block）层级，因此比对的程度更加精密。而且对企业来说，全备份还是最好的备份策略，而重复数据删除技术就可解决全备份过度占空间的问题。 

      至于重复数据删除技术可达到的压缩比，则会受备份政策、备份数据类型影响，多数厂商虽都表示其重复数据删除压缩比例平均为10～50：1，且理论上会随着时间增长而有更高的压缩比，但究竟可达到多少压缩比，仍要视不同情况而定。 

      增加VTL应用，提高企业采用意愿
      目前存储大厂多有推出VTL产品，但导入VTL的台湾企业尚少，主要的原因是台湾中小企业居多，而VTL的价格仍较磁带机昂贵。
      NetApp技术总监姜群表示，磁盘备份市场还有很大的成长空间，而许多企业还不愿意采用磁盘备份的主要原因，还是在于磁盘的成本仍比磁带高。但若在 VTL上整合重复数据删除技术，则可大幅减少磁盘的存储成本，而且可以预见的是，这样的整合也将会对磁带市场带来一定的冲击。 

      除了重复数据删除功能外，目前多数VTL产品也都可提供远程复制功能，以便企业构建异地备援。 

      业内专家表示，VTL厂商要提供更多的应用来吸引企业采用，而结合重复数据删除技术和远程复制功能，将会是VTL现阶段的重要发展趋势。
存储厂商整合VTL与重复数据删除技术进度
厂商名称 VTL与重复数据删除技术整合进度
Data Domain 具备重复数据删除功能的COS存储服务器，可另外购买VTL的授权
EMC 已推出重复数据删除产品Avamar，预计第四季会 再推出与自家备份产品整合的方案，与VTL整合最 快会在第四季完成
FalconStor 已推出一款入门级的VTL All-in-One，首度整合 重复数据删除功能，预计10月份会更新VTL产品 线，让所有VTL产品都具备该功能
HITACHI 去年推出的HDS VTL结合Diligent Technology的 ProtecTIER VT，该软件已含HyperFactor重复 数据删除技术
HP 已将重复数据删除技术整合在归档产品RISS上， 预计10月底会推出新一代的VTL产品，届时将会 内建重复数据删除技术
NetApp 已将重复数据删除技术整合于在线系统FAS系列， 预计第四季再整合至VTL产品NearStore系列
Quantum 今年新增的VTL产品线Dxi系列，内建重复数据 删除功能