大数据量“高效存储”新技术探析.docVIP

大数据量“高效存储”新技术探析 　　The Technology Analysis of Large Amount of Data Efficient Storage 　　Feng Kaiping 　　（Sichuan Higher Institute of Cuisine，Chengdu 610072，China） 　　 　　摘要：面对数据量的急剧暴涨，企业需要不断购置大量的存储设备来应对不断增长的存储需求；大量的异构物理存储资源大大增加了存储管理的复杂性、成本和能耗，造成存储资源浪费。最新的“高效存储”理念旨在缓解存储系统的空间增长问题、缩减数据占用空间、简化存储管理、最大程度地利用已有资源，降低成本和能耗。 　　Abstract: As the amount of data jumped sharply, the enterprise needs to constantly purchase large amounts of storage equipment to cope with growing storage needs; a lot of heterogeneous physical storage resources greatly increased the complexity, cost and energy consumption of the storage management, which caused storage resources waste. The latest efficient storage concept is aimed at easing the space growth of storage system, shrinking the space that data takes up, simplifying storage management, maximum using existing resources, and reducing cost and energy consumption. 　　关键词：高效 存储 数据 效率 　　Key words: efficient；storage；data；efficiency 　　中图分类号：TP391文献标识码：A文章编号：1006-4311（2011）19-0143-02 　　0引言 　　信息在带来价值和财富的同时，也给我们带来了许多挑战，诸如存储空间巨大、管理复杂、存储利用率低下、能源消耗巨大等问题。为了提高数据存储数量和效率，人们提出了很多提高存储效率的方案和方法。新概念的高效存储技术数据压缩、重复数据删除、自动精简配置、自动分层存储、存储虚拟化等技术有效解决或缓解了这些难题。 　　1当前数据存储应用的不足 　　容量效率――容量效率低是极其常见的现象，在许多中小型企业或高校等应用IT的环境下，存储系统资源相互独立，往往造成存储系统的利用率不均衡，有的存储设备已经饱和，而很多存储设备的存储利用率却不到30％。 　　人员管理效率――在传统存储模式下，每个应用都有自己的存储系统，每个存储系统都有自己的管理界面，都需要管理员来维护，这些管理的成本随着存储器数量的增多而急剧增加。 　　IT系统的生产效率――前两个问题必然会造成整个IT系统生产效率的下降。一方面是性能和稳定性的问题，使得业务不能够正常运营；另一方面是系统定期维护造成的定时停机，比较典型的如数据调整、设备更换、数据迁移等都会使整个业务系统停止。 　　2“高效存储”策略 　　高效存储技术主要基于以下策略：①减少冗余数据副本，减缓数据增长率；根据数据价值和SLA定制数据管理和保护策略，降低总成本。②将分散物理存储资源整合成虚拟的存储资源池，使得存储利用率最大化，减缓存储需求。③有效减小数据通信量和存储量。删除块级和文件级冗余数据、自动精减配置、在满足存储需求的同时按需分配存储、根据需要动态调整数据卷大小，使得存储量最小化。④根据数据价值和访问频度自动在不同存储层次之间流动，降低成本。⑤高效利用SSD的高性能、低能耗的特点，提高设备数据存储量。⑥减少测试、仿真、建模等应用的存储空间需求。⑦将空闲磁盘转换成非活动或低速旋转模式，可有效节省能耗。 　　以上所列高效存储技术和管理策略均是最佳实践，但是单一技术往往难以显著地提高存储利用效率、降低能耗、降低成本，实际中通常综合运用其中多种技术以获得更佳的整体效果。 　　3“高效存储”技术 　　基于高效存储策略，目前IT界公认的五项高效存储技术分别是数据压缩、重复数据删除、自动精简配置、自动分层存储和存储虚拟化。3.1 数据压缩数据压缩技术是提高数据存储效率最古老最有效的方法之一。数据压