取消
搜索历史

    HDS主存储重复数据删除使NAS“减肥”

    来源:存储网 2013-04-09 11:06解决方案

    根据日立数据系统(HDS)首席技术官Hu Yoshida表示,该公司已经将主存储重复数据删除加入到他们的网络附加存储(HNAS)和日立统一存储(HUS)中端阵列

    HNAS是HDS从收购BlueArc获得的硬件加速文件存储,该系统依赖于可编程芯片(FPGA)来加速操作。HUS阵列的文件控制器使用了BlueArc硬件引擎和软件。Hu Yoshida说这种重复数据删除功能可以:

    •实现自动化

    •适时去重数据,而不是只在字节写入时

    •一旦文件工作负载达到阈值就会减慢(去重处理)速度

    •使用密码散列算法,确保数据完整性

    •重复数据删除一台文件设备的整个可用空间,也就是256TB。

    “一旦系统空闲,一个智能重复数据删除进程得知新的数据写入,并自动启动重复数据删除引擎。”这位CTO在他公司的网站上写道。万一系统反应文件读写请求繁忙,那么它会减慢去重的速度。重复数据删除利用文件并使用一个哈希表(hash)数据库来识别数据中重复的块。然后它们会被删除,腾出空间给其它数据使用。

    重复数据删除在其FPGA硬件中加速散列算法和分块,而不是在通用CPU上单纯的软件。Hu Yoshida在本周的博客中提到:“一个基础的散列/分块引擎许可是免费的。三个额外的散列/分块引擎可以(付费获得)许可,重复数据删除的性能提升将近四倍(利用四个引擎)。”

    我们解释下,这个的意思是指HUS文件和对象(严格说应该是基于对象的文件系统,译者注)可以被重复数据删除,而不是HUS块(存储)。

    Hu Yoshida说,一位HDS的客户在16分钟内重复数据删除了120万个文件,但没有透净容量上的获益。关于重复数据删除效率的说法是,“可与其他重复数据删除算法较量”和“去重效率取决于数据集和文件系统块大小”。

    (文章为作者独立观点,不代表存储网立场,版权疑问请联系客服。)
    关于我们| 隐私条例| 版权申明| 联系我们

    2018-2022 Copyright © Stor.com.cn