遥感数据分级存储中时间连续性的应用探讨.pdfVIP

遥感数据分级存储中时间连续性的应用探讨 冯钟葵石丹 (中国科学院遥感卫星地面站北京100086) 摘要： 本文讨论了遥感数据在分级存储的模式下面临的数据不能完全按照其自身的 时间顺序分别存放在不同级别的设备上，即数据存储的时间连续性问题．讨论这一问题， 对建设一个适当规模的分级存储．集中管理的数据存储系统，并且充分飘用系统的资源 提供较高的数据访问性能，有一定的借鉴作用和实用价值． 关键词： 遥感数据分级存储时问连续性 1．序言 数据的分级存储是当今数据存储技术中的重要内容，其核心思想是，是指将不同时间或 不同访问频度的数据分别存放在不同级别的存储设备(光纤磁盘阵列、SATA磁盘阵列和磁带 库)中，通过分级存储管理软件实现数据在存储设备之间的自动迁移“’。咀达到数据的访问 性能与存储系统建设成本之间的平衡。数据分级存储思想在遥感及空间探测数据的存储工作 中有许多成功的应用案例，如美国NASA、法国CNES、澳大利亚遥感中心、阻及国内许多遥 感应用部门，都不同程度地采用了数据分级存储的方法，对遥感和空间探测数据进行存储和 管理。 在数据的分级存储工作中，数据的创建时间和访问频度是决定数据存放在哪一级别漫备 上的关键参数。当前的各类存储设备和分级存储管理软件，对此作了很多的工作，可以方便 地实现数据在不同的存储设备之间的迁移。 然而，有一个问题却没有得到足够的重视，即数据在存储设备中的时间连续性。所谓数 据的时间连续性是指，无论采取怎样的迁移策略，数据体按照其自身的创建时间，在存储空 间中按照由高到低的顺序存放在不同级别的存储设备中。例如，最新接收的数据存放在高级 别的存储设备中，如光纤磁盘；时间稍早的数据存放在级别较低的设备上，如SATA磁盘； 再早的数据存放级别最低的设备上，如磁带库中；而更早的数据，由于很少被访问则从磁带 库中取出，存放在磁带架上。 本文从数据存储管理的角度，考虑数据分级存储的时间连续性问题对数据访问效率的影 响，提出了一个实用的设计方案，可以充分利用分级存储带来的数据存储与管理的优势。 2．分级存储与数据的时间连续性分析 2．1数据分级存储规划 前面曾提到．数据的分级存储是寻求数据的访问性能与存储设备成本之问的平衡。从实 际工作的角度看，遥感应削对数据的访问需求恰好具有按数据白身时间顺序攉列的特点，图 1显示了中国遥感卫星地面站在2001年至2004年问、数据自身时间与访问频率之间的关系。 从图中看到，在这一时间段内，遥感数据的累积访问频率在数据彼获取厉呈对数特征增欧， 按数据的自身时间排列，2年内的数据被访问的频率增长最快，累积达到83％左右，其中，1 个月，6个月、12个月平¨24个爿的平均月累计增妖率分别为16％、7％，5％和3％，随后的访 问频率增K缓慢。从图1中可以得山结论，遥感数据的访问频率集中在数据获取后2年内， 并且时间越近的数据被访问的儿率越高。 100 80 邑 簪 60 嚣 暮 窟 40 20 O 0 20 40 60 80 100 120 时M，H 图l遥感数据累积访问频率 以此为参考，可以划分合理的存储空间和设备配置，将2年内的数据存储在性能较好的 设备上，以提供较高的访问性能，而对2年及更早的数据则可以存放在磁带架上，以备不时 之需。另一方面，对2年内的数据存储可以再行细分，配置可靠性和访问性能最好的光纤磁 盘，存放1个月内的数据，配置访问性能稍低的SATA磁盘存放1年内的数据，配置访问性 能较低的磁带库设备，存放1年以上的数据，形成数据的分级存储体系。 2．2数据存储的时间连续性 ． 前面提到，数据存储的时间选续性考虑，是尽量将最新的数据存放在性能级别高的设备 上，同时保证在整个存储空间中，数据按其自身时间由近而远地存放在由高到低的没备上， 如图2所示。