分级存储在羊八井ARGO实验应用.pdfVIP

分级存储在羊八井ARGO实验中的应用 姚秋玲陈刚 (中国科学院高能物理研究所，100049，北京) 摘要t中意合作组建的羊八井ARGO实验每年产生数百TB的数据，这些海量数据对存储 资源和存储系统都提出了更高的要求。本文结合实际应用，描述了分级存储技术在羊八井实 验数据存储上的实施和应用。 关键字s分级存储、海量存储、羊八井 1．引言 中意羊八井ARGO实验是由中国科学院、基金委和科技部共同支持的，以高能物理所 为主导的大型国际合作项目。它在海拔4300m的羊八井合作建造全覆盖式RPC探测器“地 毯”阵列，立足于地面对宇宙射线及其在大气层中产生的广延大气簇射(EAS)的观测，研 究宇宙线及其起源及与此相关的字观和微观课题。当前将集中于Y天文特别是当前尚无有效 实验手段的一IOOGeV能区，宇宙线反质子丰度测量，超高能宇宙线“膝区物理”，及太阳活动 与和日地环境变化间的关联等方面。2006年6月羊八井ARGO实验主探测器建成并投入运 络，实现了原始数据的日同步传输。羊八井ARGO实验产生的海量数据对存储系统提出了 很高的要求。． 在存储资源的选择上，目前市场上的海量存储介质主要有磁盘(包括磁盘阵列)、光盘 库、磁带(包括磁带机和磁带库)。在存储ARGO实验数据的初期，考虑到磁盘阵列读取速 度快，可用于网络系统中数据的即时存取和在线处理，所以采用了磁盘阵列保存数据的方法。 带库的存储。在存储系统的选择上，高能物理所选择了分级存储方式，并部署了“磁盘阵列 ——磁盘池——磁带库”三级存储系统。分级存储可以将磁盘阵列和磁带库联合起来使用， 这样既提供了访问速度，也提供了存储容量。数据分级存储以后，也满足了数据的不同访问 频率的需求。 2．分级存储技术 2．1分级存储概念 分级存储(Hierarchical Storage)是一种虚拟存储技术，它将廉价低速的磁带库或光盘库存 储资源和相对高价但快速的磁盘存储资源结合起来，将这些存储资源虚拟成一个逻辑存储空 间，提供给用户相对透明的使用接口。它根据数据的重要性、大小、访问频率、保留时间等 指标将数据分别存储在不同级别的存储资源中，通过软件实现数据在存储设备之间的自动迁 移。在用户使用层，数据可通过命令行或函数调用的方式进行访问， ARGO实验数据的存储选择上，一般根据数据的产生时间来分级。 126 离线存储 近线存储 在线存储 (磁带、磁带库) (磁带池) (磁盘阵列) 图1分级存储的存储形式 在线存储又称工作级的存储，存储设备和所存储的数据时刻保持“在线”状态，可随意 读取的，可满足用户对数据访问的速度要求。在线存储设备为磁盘或磁盘阵列等设备。近线 存储指那些并不是经常用到，或者说数据的访问量并不大的数据。它被存放到磁盘池，即远 端的磁盘存储设备上。对这些的设备要求是寻址迅速、传输率高。离线存储主要用于对那些 较长时间被访问一次或者几乎不访问的数据进行存储。离线存储对性能要求不高，但由于不 常用的实验数据要占总数据量的大多数，所以离线存储设备首先保证的是容量。一般把磁带 库和磁带作为离线存储的存储介质。 2．2分级存储结构 分级存储的技术基础是虚拟存储技术。虚拟的主要过程就是将实际的各种不同的存储资 源通过软件或者硬件技术映射到用户容易使用的界面。用户在存取数据时无需知道存储资源 的位置或者设备配置。图2为分级存储系统的结构。在客户端层面，它只需向服务器端发出 请求，之后的操作对于它都是透明的。 图2分级存储系统结构图 分级存储系统中的各个组件，相对独立，又互相联系通信，还可以通过函数调用，实现 127 了模块他的设计．使用效率很高．又易丁舒理。 由图2可以看出．磁盘池管理器是个中心组件。所谓的磁盘池就是个或几个物理磁 盘的攘台。通常情况下．一个用户组至少有一个融盘池管理器。它负责管理磁盘与磁带之间 的输入输出工