besiiidcache存储设计与实现.docxVIP

BESIII Dcache存储 设计与实现 闫晓飞 高能物理研究所计算中心 2013年7月4日 序 本报告主要介绍网格存储及其在BESIII数据管理中的应用, 以及dCache的数据传输协议。 Outline ?BESIII数据存储现状 ?选择dCache的原因 ? dCache Setup For BESIII BESIII数据存储现状 数据存储在计算中心本地Lustre系统 ? BES数据主要存储在Lustre系统上 Luster是一个并行的文件存储系统 Lustre具有非常好的读写性能. ?现在有3个mount点可以通过登陆节点和计算节点直接访问: Mount point Used* [TB] Available* [TB] /besfs 689 107 /besfs2 31 935| /bes3fs 484 38 Total 1200 1081 Storage on Lustre locally at IHEP ?为什么会有3个mount点 -3个mount点存储不同类型的BES数据。 -另一个原因是每个mount点文件数量的限制 ?用户可以通过普通的linux命令直接访问lustre上的数据。 ?数据访问权限根据用户id和组id来控制。 ?作业的输出直接写入Lustre文件系统。 选择dCache的原因 §§ § § § § VAtian unwsity Haryng Unrreriity (roftn*est Gate) x*rt m$teute lo Nuckear Research 分布式计算和存储 ? BESIII目前有很多合作单位 ?（俄罗斯JINR,深圳|,南京大学,UMN...） ?需要分布式的计算和数据处理 -Lustre适合本地使用，本身没有远程广域网访问接口。 ?分布式数据存储的安全性（使用网格证书来进行认证） ?使用基于网格的存储系统 为什么使用dCache ? dCache是德国DESY开发的成熟的网格存储系统。 ?开发团队很负责，跟用户建立的很好的交流 -目前为CMS部署的dCache系统运行稳定，性能良好。 ?很多网格站点使用dCache系统 ?(CC-IN2P3, DESY,几乎所有美国和加拿大的网格站点) ?支持TSM (Tertiarv Storage Svstem)接口可以联接Lustre存储系统。 ?功能丰富，接口丰富，很多数据管理的工具。 ?没有文件数量的限制 ?单一的命名空间 dCache setup for BESIII A running dCache instance Srm ImDomain utilityDomain pnfsManager poolManager infoProvider dirDomain adminDoor dcap httpDomain gplazmaService dCache Introduce -dCache是基于JAVA开发的一个分布式存储管理系统。 ?可以对海量的数据进行管理。 ?可以通过HSM(Hierarchical Storage Management)整合许多存储类型。 ?支持自动文件副本管理，达到系统的负载均衡。 ?支持许多文件传输协议。 ?支持许多认证方式。 ?支持信息发布、状态监控和详细的日志记录系统 dCache Setup For BESIII ?目前是单一服务器模式，可以扩展为多服务器模式。 ? 一个文件服务器 DELL R720 2XCPU MEM 32GB ?两个盘阵服务器24盘位盘阵服务器可用空间126TB (63TBX2) 10Gb交换机Srm 接 IIGridftp ? 10Gb交换机 8Gb FC 光纤gPlazmaAdmin toolsPool managerHead NodedCache instance 8Gb FC 光纤 dCache数据管理 P2P ( pool to pool data transfer) -可以把一个盘阵上的所有文件移动到另一个盘阵 Replica manager ?可以对热点文件自动增加副本，来做到自动的负载均衡 -对设定的目录配置文件副本数量 Billing ?数据传输的统计 ?基于数据库的单一命名空间 .安全认证(gPlazma) ?基于网格证书的VO role gro叩认证 安全认证gPlazma ? dCache通过gPlazma服务进行验证 ?支持基于网格证书的认证 ?用户需要有网格证书，并加入一个虚拟组织(Virtual Organization), ?基于kerberos5的认证 -可以使用原有的统一的认证系统 ?支持基于用户名密码认证 信息发布BDII ? dCache系统发布统一的网格信息。 ?可以通过Idap ?可以通过Idap清