大数据量“高效存储”新技术探析.docxVIP

PAGE 1 PAGE 1 大数据量“高效存储”新技术探析  面对数据量的急剧暴涨，企业需要不断购置大量的存储设备来应对不断增长的存储需求；大量的异构物理存储资源大大增加了存储管理的复杂性、成本和能耗，造成存储资源铺张．最新的“高效存储”理念旨在缓解存储系统的空间增长问题、缩减数据占用空间、简化存储管理．最大程度地利用已有资源，降低成本和能耗。  引言  信息在带来价值和财宝的同时，也给我们带来了很多挑战，诸如存储空间巨大、管理复杂、存储利用率低下、能源消耗巨大等问题。为了提高数据存储数量和效率，人们提出了许多提高存储效率的方案和方法。新概念的高效存储技术数据压缩、重复数据删除、自动精简配置、自动分层存储、存储虚拟化等技术有效解决或缓解了这些难题。  1当前数据存储应用的不足  容量效率——容量效率低是极其常见的现象，在很多中小型企业或高校等应用IT的环境下，存储系统资源相互独立，往往造成存储系统的利用率不均衡，有的存储设备已经饱和，而许多存储设备的存储利用率却不到30％。  人员管理效率——在传统存储模式下，每个应用都有自己的存储系统，每个存储系统都有自己的管理界面，都需要管理员来维护，这些管理的成本随着存储器数量的增多而急剧增加。  IT系统的生产效率——前两个问题必定会造成整个IT系统生产效率的下降。一方面是性能和稳定性的问题，使得业务不能够正常运营；另一方面是系统定期维护造成的定时停机，比较典型的如数据调整、设备更换、数据迁移等都会使整个业务系统停止。  2“高效存储”策略  高效存储技术主要基于以下策略：①削减冗余数据副本，减缓数据增长率：依据数据价值和SLA定制数据管理和保护策略，降低总成本。②将分散物理存储资源整合成虚拟的存储资源池，使得存储利用率最大化，减缓存储需求。③有效减小数据通信量和存储量。删除块级和文件级冗余数据、自动精减配置、在满意存储需求的同时按需安排存储、依据需要动态调整数据卷大小，使得存储量最小化。④依据数据价值和访问频度自动在不同存储层次之间流淌，降低成本。⑤高效利用SSD的高性能、低能耗的特点，提高设备数据存储量。⑥削减测试、仿真、建模等应用的存储空间需求。⑦将空闲磁盘转换成非活动或低速旋转模式，可有效节约能耗。  以上所列高效存储技术和管理策略均是最佳实践，但是单一技术往往难以显著地提高存储利用效率、降低能耗、降低成本，实际中通常综合运用其中多种技术以获得更佳的整体效果。  3“高效存储”技术  基于高效存储策略，目前IT界公认的五项高效存储技术分别是数据压缩、重复数据删除、自动精简配置、自动分层存储和存储虚拟化。  3.1数据压缩  数据压缩技术是提离数据存储效率最古老最有效的方法之一。数据压缩就是将收到的数据通过存储算法存储到更小的空间中去。随着CPU处理能力的大幅提高，在主存中应用实时压缩技术来节约数据占用空间成为现实。这项新技术就是最新研发出的在线压缩(实时压缩，RACE)技术，它使得数据压缩技术发生了探大的转变，它具有更快捷更精确的活跃数据推断能力和缩减能力，从而大幅度地降低文件和数据库的占用空间。借助实时压缩技术，在不降低性能要求的状况下，将存储需求最多可降低80%与传统压缩技术不同，对RACE技术，当主数据在首次写入时即被压缩，帮助系统掌握大，数据在主存中杂乱无章地存储的情形，特殊是多任务工作时更加明显。进而降低了功耗、削减了冷却要求，也使得CPU工作受轻松。该技术还可以在数据写入到存储系统前压缩数据，这进一步提高了存储系统中的磁盘和缓存的性能和效率。RACE是一个软硬件组合的技术产品，本身可以看作一个压缩器，透明地部署在数据流中，整个数据会流经它，再存储到服务器中。  3.2重复数据删除  备份设备中总是充斥着大量的重复数据。“重复删除”技术(Deduplication)作为一种数据缩减技术可对存储容量进行优化。它通过删除数据集中重复的数据，只保留其中一份，如图1所示，从而消退冗余数据。Dedupe技术可以将数据缩减到原来的1/20-1/50。由于大幅度削减了对物理存储空间的禽求，进而削减传输过程中的网络带宽、节省设备成本、降低能耗。 图1重复教据删除技术原理 Dedupe根据消重的粒度可以分为文件级和数据块级。文件级的dedupe技术也称为单一实例存储（SIS，Singleinaroncc5tane)，数据块级的，复数据删除，其消宜粒度更小，可以达到4-24KE之间。显而易见，数据块级可以供应更高的数据消重率，因此目前主流的dedupe产品都是数据块级的。Dedupe将文件变成定长或变长的数据块，采用MD5/SHA1等H