重复数据删除技术分析及分类

1.3 基于消冗执行次序的分类

(1)在线式消冗

在线处理的重复数据删除是指在数据写入磁盘之前执行重复数据删除。其最大的优点是经济高效，可以降低对存储容量的需求，并且不需要用于保存还未进行重复数据删除的数据集。在线处理的重复数据删除减少了数据量，但同时也存在一个问题，处理本身会减慢数据吞吐速度。正是因为重复数据删除是在写入到磁盘之前进行的，因此重复数据删除处理本身就是一个单点故障。

(2)后处理式消冗

后处理的重复数据删除，也被称为离线重复数据删除，是在数据写到磁盘后再执行重复数据删除。数据先被写入到临时的磁盘空间，之后再开始重复数据删除，最后将经过重复数据删除的数据拷贝到末端磁盘。由于重复数据删除是数据写入磁盘后再在单独的存储设备上执行的，因此不会对正常业务处理造成影响。管理员可以随意制订重复数据删除的进程。通常先将备份数据保留在磁盘上再进行重复数据删除，企业在需要时可以更快速地访问最近存储的文件和数据。而后处理方式的最大问题在于它需要额外的磁盘空间来保存全部还未删除的重复数据集。

1.4 基于实现层次的分类

(1)基于软件的重复数据删除

在软件层次，重复数据删除可以有两种集成方式，即可以将软件产品安装在专用的服务器上实现，也可以将其集成到备份/归档软件中。基于软件的重复数据删除的部署成本比较低；但是基于软件的重复数据删除在安装中容易中断运行，维护也更加困难。

基于软件的重复数据删除产品有EMC公司的Avamar软件产品、Symantec公司的Veritas NetBackup产品以及Sepaton公司的DeltaStor存储软件等。

(2)基于硬件的重复数据删除

基于硬件的重复数据删除主要由存储系统自己完成数据的删减，例如：在虚拟磁带库系统、备份平台或者网络附加存储(NAS)等一般目的的存储系统中融入重复数据删除机制，由这些系统自身完成重复数据删除功能。

基于硬件的重复数据删除的优点是高性能、可扩展性和相对无中断部署，并且重复数据删除操作对上层的应用都是透明的。这种设备的缺点就是部署成本比较高，要高于基于软件的重复数据删除。

目前基于硬件的重复数据删除系统主要包括VTL和NAS备份产品两大类，例如：Data Domain公司的DD410系列产品、Diligent Technologies公司的ProtecTier VTL、昆腾公司的DXi3500和DXi5500系列产品、飞康的VTL产品、ExaGrid Systems公司的NAS备份产品以及NetApp的NearStore R200和FAS存储系统。