分级存储管理在电子邮件系统中的分析与应用.docxVIP

PAGE 1 PAGE 1 分级存储管理在电子邮件系统中的分析与应用  文章就电子邮件应用系统中的存储问题，提出利用分级存储管理的解决方案。在分析了在电子邮件存储中存在的成本和性能问题，以及现有存储设备的特点的基础上，介绍利用分级存储架构电子邮件应用系统的方法，并给出了架构模型，以及电子邮件系统中分级存储管理的设计方案。  一、引言  从2004年Google推出大容量邮箱Gmail开始，大容量邮件系统发展愈来愈热，用户也渐渐养成在邮件系统服务器上备份大量历史邮件的习惯。随着业务的发展，大用户量加上浩大的邮件数，这给邮件存储带来了显著的压力。  作为免费电子邮件服务的供应商（ICP），用户和邮件量不断增大，应用系统在线处理大量的数据，随着数据量的不断加大，假如都采用传统的在线存储方式，就需要大容量的本地一级硬盘。这样一来一方面投资会相当较大，而且管理起来也相对较复杂；另一方面由于磁盘中存储的大部分数据访问率并不高，但仍旧占据硬盘空间，会导致存取速度下降。在这种状况下，层次化的分级存储管理，可以在性能和价格间作出比较好的平衡。  所谓分级存储，就是依据数据不同的重要性、访问频次等指标分别存储在不同性能的存储设备上，采取不同的存储方式。这样一方面可大大削减非重要性数据在一级本地磁盘所占用的空间，还可加快整个系统的存储性能。  二、分级存储的三种存储方式  目前常用于数据存储的存储设备主要有磁盘（包括磁盘阵列）、磁带（包括磁带机和磁带库）和光盘（包括一切CD-R、CD-RW、DVD-R、DVD-RW等光盘塔和光盘库设备）。从性能上来说，磁盘当然是最好的，光盘次之，最差的是磁带。而从价格上来说，单位容量成本上磁盘最贵、光盘次之，磁带最低。这就为我们不同的应用追求最佳性价比供应了条件，因为这些不同的存储媒介可应用于不同的存储方式中。存储方式有在线存储（OnLine）、近线存储（NearLine）和离线存储（OffLine）。  1.在线存储（Online）  在线存储又称工作级的存储，存储设备和所存储的数据时刻保持“在线”状态，是可随便读取的，可满意计算平台对数据访问的速度要求。如我们PC机中常用的磁盘基本上都是采用这种存储形式的。一般在线存储设备为磁盘和磁盘阵列等磁盘设备，价格相对昂贵，但性能最好。  2.离线存储（Offline）  离线存储主要是用于对在线存储的数据进行备份，以防范可能发生的数据灾难，因此又称备份级的存储。离线海量存储的典型产品就是磁带或磁带库，价格相对低廉。离线存储介质上的数据在读写时是顺序进行的。当需要读取数据时，需要把带子卷到头，再进行定位。当需要对已写入的数据进行修改时，全部的数据都需要全部进行改写。因此，离线海量存储的访问是慢速度、低效率的。  3.近线存储（Nearline）  所谓近线存储，就是指将那些并不是经常用到，或者说数据的访问量并不大的数据存放在性能较低的存储设备上。对这些的设备要求是寻址快速、传输率高。因此，近线存储对性能要求相对来说并不高，但由于不常用的数据要占总数据量的大多数，这也就意味着近线存储设备首先要保证的是容量。  三、电子邮件中的分级存储架构  在分级数据存储结构中，磁带库等成本较低的存储资源用来存放访问频率较低的信息，而磁盘或磁盘阵列等成本高、速度快的设备，用来存储经常访问的重要信息。数据分级存储的工作原理是基于数据访问的局部性。通过将不经常访问的数据自动移到存储层次中较低的层次，释放出较高成本的存储空间给更频繁访问的数据，可以获得更好的总体性价比。  数据访问的局部性同样适用与电子邮件，都适用二八原则，即经常访问的邮件和新邮件约占20%，而那些很少访问的邮件和旧邮件约占80%，考虑到充分利用Online的价值，提出分级存储，即近期的经常访问的邮件存储在高性能的Online上，过期的不经常访问的邮件和垃圾邮件一律压缩后存放在性能较差一点的Nearline设备上，而且后期购入的存储设备绝大部分选择Nearline，备份则直接放入Offline上，结构图如下所示：  图1电子邮件分级存储结构图   文章就电子邮件应用系统中的存储问题，提出利用分级存储管理的解决方案。在分析了在电子邮件存储中存在的成本和性能问题，以及现有存储设备的特点的基础上，介绍利用分级存储架构电子邮件应用系统的方法，并给出了架构模型，以及电子邮件系统中分级存储管理的设计方案。  一、引言  从2004年Google推出大容量邮箱Gmail开始，大容量邮件系统发展愈来愈热，用户也渐渐养成在邮件系统服务器上备份大量历史邮件的习惯。随着