高性能计算与云计算-第07讲文件系统及云存储.ppt

* * * 快照Snapshot (FlashCopy) /home Take Snapshot /Snapshot8AM Changed Block New Block NewData /home/.snapshot/Snapshot8AM /home/.snapshot/Snapshot9AM /home/.snapshot/Snapshot10AM /home/.snapshot/Snapshot11AM 31 Total File Deleted 11:15 AM GPFS工作原理：快照功能 SAN 混合集群 AIX 5.3 GPFS /home AIX 5.2 RedHat Suse 在线增加节点和存储 GPFS工作原理：系统管理 滚动式升级 AIX 5.3 GPFS 3.1 GPFS 3.1 GPFS 3.2 GPFS 3.1 GPFS 3.1 GPFS /home 在线删除节点和存储 灵活性, 可集成性 和容量按需应变 支持的平台 -AIX 5.2, 5.3-pLinux -x_86 -x_8664 -RHES 3 - 4 -SLES 8,9,10 - BlueGene 2MBFile GPFS工作原理: 高性能 GPFS 256KB Blocksize 并行访问所有磁盘 Supported Block sizes 16KB, 64KB, 256KB ,512KB1MB ,2MB ,4MB NSD 客户端对存储的访问通过一个或多个I/O服务器完成 每个 I/O 服务器拥有一个或多个直连阵列设备 NSD客户端使用 GPFS 协议对存储设备进行数据块级的访问 NSD可以配置成非常大规模的集群,使得不需要每个节点都连接到SAN设备,从而有效地降低 成本. NSD 客户端和I/O服务器是GPFS集群里面的角色,他们需要相同的GPFS软件和 license 通过LAN连接到集群的节点称为 NSD 客户端 部分节点直接连接到SAN存储 集群中部分节点直接连接到SAN的存储设备,其他的节点通过LAN相连接 SAN GPFS 集群配置方案-1 I/O 服务器 NSD 客户端 LAN 单一的GPFS 系统 SAN SAN SAN D2 D2 GPFS 集群配置方案 - 2 I/O 服务器 NSD 客户端 LAN NSD 可扩展性设置支持用跨越多个SAN的多个存储设备构建单个的文件系统 D1 D2 D3 D4 D1 D3 D4 横向扩展 这个特性使得我们可以构建一个可以大规模扩展的方案 GPFS能够判断到所需数据的最佳路径 每对I/O服务器提供磁盘访问的冗余保护 SAN SAN LAN SAN SAN LAN Cluster 2 GPFS 集群配置方案 – 3 多集群 Cluster 1 File Systems /C1FS1/C1FS2/C1FS3 File Systems /C2FS1/C2FS2/C2FS3 LAN Cluster 3 /C2FS1 远程 Mount /C1FS1 /C1FS1 共享部分数据 LAN 或 WAN SSH 密钥认证 多集群也称为远程挂载,使得我们可以在多个 GPFS 集群中共享数据 GPFS – 信息生命周期管理 存储池Storage Pools 文件集Filesets 规则引擎Policy Engine 文件放置规则 文件迁移规则 文件删除规则 /home SATA GPFS – 信息生命周期管理基于业务需求的存储池管理 Storage Pool: Tier 2 Storage Pool: Tier 1 FC FC SATA SATA SATA SATA SATA FC FC Tier 1 Tier 2 Single File System /home/FS1 Filesets /home/FS2 /home/FS3 File Placement Policy Policy Engine Joe CEO GPFS –信息生命周期管理规则定义 文件放置规则 属性 用户 组 文件集/子目录 文件名 文件迁移规则 文件删除规则 属性 上次修改时间 上次访问时间 路径 存储池名称 文件大小 空间分配大小 Rule ‘Data rule 1’ set pool ‘tier1’ Where UPPER(NAME) like ‘%.PPT’ AND GROUP_ID = 120 Rule ‘Data rule 2’ set pool ‘tier2’ Where FILESET_NAME = ‘FS1’ AND USER_ID = 250 GPFS相关资源 IBM Cluster information center /infocen