近日，日立数据系统(HDS)首席技术官HuYoshida表示，公司已经将主存储重复数据删除加入到他们的网络附加存储(HNAS)和日立统一存储(HUS)中端阵列当中。

　　HNAS是HDS从收购BlueArc获得的硬件加速文件存储，该系统依赖于可编程芯片(FPGA)来加速操作。HUS阵列的文件控制器使用了BlueArc硬件引擎和软件。HuYoshida说这种重复数据删除功能可以：

　　实现自动化，适时去重数据，而不是只在字节写入时；

　　一旦文件工作负载达到阈值就会减慢(去重处理)速度；

　　使用密码散列算法，确保数据完整性，重复数据删除一台文件设备的整个可用空间，也就是256TB。

　　“一旦系统空闲，一个智能重复数据删除进程得知新的数据写入，并自动启动重复数据删除引擎。”这位CTO在他公司的网站上写道。如果系统反应文件读写请求繁忙，那么它会减慢去重的速度。重复数据删除利用文件并使用一个哈希表(hash)数据库来识别数据中重复的块。然后它们会被删除，腾出空间给其它数据使用。

　　重复数据删除在其FPGA硬件中加速散列算法和分块，而不是在通用CPU上单纯的软件。HuYoshida在本周的博客中提到：“一个基础的散列/分块引擎许可是免费的。三个额外的散列/分块引擎可以许可，重复数据删除的性能提升将近四倍。”我们解释下，这个的意思是指HUS文件和对象可以被重复数据删除，而不是HUS块。

　　HuYoshida说，一位HDS的客户在16分钟内重复数据删除了120万个文件，但没有透净容量上的获益。关于重复数据删除效率的说法是，“可与其他重复数据删除算法较量”和“去重效率取决于数据集和文件系统块大小”。