分布式大数据的管理.ppt

* * * http://hepix.caspur.it/storage/techtrack.php * * /srm-wg/ * * * * * * * */22 分布式大数据的管理大数据研究 主要内容 数据管理需求分析 1 分布式数据管理技术概览以及目前的应用 2 网格环境下的数据管理系统及其成熟产品 3 云计算与云存储模式 4 数据快速增长 数据量增长到底有多快？视频、音频、图片… EMCIDC报告“数字宇宙十年—你是否准备好（2010.5.5）”称2010年数据量相当于750亿部16GB的iPad： 摆满北京国家体育场(鸟巢)15.5次， 伦敦温布利体育场 41次， 台北101大楼23次， LHC隧道151次 全球每人平均拥有11台iPad 福克斯电视台热门电视连续剧《24小时》连续播放1.25亿年 数据量达到1.2ZB 1MB=1024KB 1GB=1024MB 1TB=1024GB 1PB=1024TB 1EB=1024PB 1ZB=1024EB 高能物理数据量 Hepix 2010 14个主要站点在线存储空间达到87PB，而2007年才14PB，增加了5倍多 WLCG 在线存储：62PB，近线存储：58PB 大型实验 LHC: 15PB/year BES: 累积5PB 5PB光盘 数据管理需求 数据量大 – 存的下 高速访问 – 取得到 广域分布 – 易分享 长期保存 – 存的妥 数据存储技术 在IT界，存储技术一直很火，为什么？ 看似简单的需求，实际上要求很高 数据存储技术从软件到硬件都在不断发展，以满足需求 存储连接方式 单机存储（DAS）? 网络存储（NAS, SAN） 存储管理软件 本地存储系统? 分布式网络存储系统 存储连接方式 直接连接存储 DAS: Direct-Attached Storage 计算与存储集中 网络存储 FAS: Fabric-Attached Storage 存储与计算分离（一场革命） 存储设备 文件系统 应用软件 存储设备 文件系统 应用软件 存储设备 文件系统 应用软件 网络 FC/GbE DAS NAS SAN 存储管理软件 存储设备连接方式的变化，存储管理软件也随之发展 本地文件系统 管理本地的存储系统，为本地的应用服务 在DAS以及SAN服务器上比较常见 分布式网络存储管理系统 将分布在网络上的存储设备统一管理，为多个连接在网络上的应用服务 NAS服务器上的网络文件系统（NFS,CIFS）以及分布式文件系统（AFS, Lustre）等 趋势：数据量爆炸性的增长、计算模式的集群化发展、开放标准的存储设备，导致存储系统朝着集群化、分布式的方向发展 典型的高能物理存储环境 计算集群 计算网络 存储网络 磁盘服务器 磁带库 磁带服务器 存储设备连接 磁盘阵列 存储网络与计算网络分离； 存储设备与存储服务器是网络分布的； 普遍采用基于磁盘-磁带的分级存储； 采用分布式存储管理软件来管理存储空间 分布式存储系统典型结构 用户态 内核态 客户端 元数据服务器 I/O服务器 传输流与控制流的分离 I/O服务器集群化分布，易于实现性能和容量的双向增长 元数据服务器统一管理，提供统一存储空间 存储管理的功能组件 磁盘 磁带 数据分发 POSIX I/O 集 群 文 件 系 统 聚合访问 分 级 存 储 管 理 传输流管理 认证/授权 磁带调度 逻辑连接 名字空间 介质迁移 错误处理 I/O调度 数据迁移 带宽预留 磁盘池 磁带库管理 分布式存储管理系统 共享Home目录 AFS, NFS 大型实验数据空间 GPFS, LUSTRE, XROOTD, dCACHE, CASTOR, HPSS 磁带迁移 HPSS, TSM, ENSTORE, CASTOR/STAGER 困惑 有这么多的系统可以选择，是否值得高兴呢？ 值得高兴是肯定的，因为有系统可以用，但是同样也有不少困惑 困惑一：如何选择？ 可扩展性 客户端访问协议 软件是否能够长期维护？ 困惑二： 众多的存储系统，在网格环境下如何管理？ 网格强调：局部自治，全局统一 因此，对于这点，不再仅仅是困惑，而是一个必须要解决的问题！ SRM 既然大家不能统一使用同一个存储系统，就只能通过标准化来解决 CERN, FNAL, DESY, INFN等单位成立标准工作组，制定了SRM（Storage Resource Manager ）接口标准 包括了空间管理、文件管理、数据传输、协议发现等多组函数 dCache (FNAL) DPM (IHEP) CASTOR (CERN) SRM 通过统一的SRM接口同各种存储系统交互； 可以在目标系统预留空间； 可以调用相应的协议传输文件 … LUSTRE (CNAF) W