Lustre文件系统方案.ppt

Thanks! 谢 谢！ 放映结束 感谢各位批评指导！ 让我们共同进步 * * * * * * CMD --元数据分配方法 --哈希法 优点 通过哈希函数可以快速的定位到管理该文件的MDS 文件系统的负载可以更均匀的分布到各个MDS上 能够有效的避免热点目录的出现 CMD --元数据分配方法 --哈希法 缺点 消除了命名空间层次结构的local特性 为了满足POSIX语义，MDS必须遍历该文件的前缀目录检查当前用户是否具有访问权限。而文件和其前缀可能位于不同的元数据服务器上，这将导致很高的查询开销。MDS间的前缀缓存开销很大，不同元MDS的前缀缓存的重叠度也非常高，降低了元数据服务其内存的利用效率 CMD --lustre元数据分配方法 Lustre结合了目前目录子树分区法和哈希法的优点，提出了一种管理元数据的混合方法 创建新目录时总是通过哈希法选择一个与父目录可能不同的元数据服务器 当一个目录变得很大或者非常繁忙时，Lustre通过目录分割策略将该目录拆分成由若干个不同的元数据服务器管理的子目录 CMD（目录分割） CMD的恢复 通过硬件/软件等措施实现了高可用的元数据服务 对象存储上的元数据可用通过本地格式化的日志文件系统进行恢复 自恢复机制重放处理任何来自客户端未完成请求相关的恢复以及锁服务的恢复 类似数据库的基于日志的回滚技术，实现了涉及到多个元数据服务器服务的不一致性恢复 文件系统一致性语义 当多个用户对同一个文件进行读写操作时,各个用户看到的文件是一样的. 按照UNIX的POSIX共享语义标准,在本地文件系统中,如果一个进程修改了某个文件的属性或内容,应该很快能够被其他进程察觉到。 文件系统一致性语义 － 分布式锁管理器(LDLM) 在分布式文件系统中要想按照严格的POSIX语义,就意味着要进行即时更新来维持共享资源的一致性视图,增加了大量的传输和一致性管理的开销,不仅实现困难而且会大大降低系统性能 . 分布式锁管理器技术为实现对共享存储资源的协同访问避免单个节点的访问以及冲突给出了一套行之有效的解决方法 锁服务器也被分布到多个存储节点上, 不会成为性能瓶颈. LDLM – 锁的类型 基本模型在Lustre文件系统中被称为普通锁(plain lock) 普通锁模型进行了扩展引入了两种新类型锁： 意图锁(intent lock) 范围锁(extent lock)。 LDLM--锁模式(cont’) 模式 名称 访问授权 含义 EX 独占 RW 允许对资源的读写访问,且其他任何进程不能获得读或写权限 PW 保护写 W 允许对资源的写访问,且其他任何进程不能获得写权限, PR 保护读 R 允许对资源的读访问,且其他任何进程不能获得写权限但可共享读 CW 并发写 W 对其他进程没有限制,可以对资源并发写访问.无保护方式写 CR 并发读 R 对其他进程没有限制,可以对资源并发读访问.无保护方式读 NL 空 无 仅仅表示对该资源有兴趣,对资源没有访问权限. LDLM -- 锁模式(cont’) EX PW PR CW CR NL EX 0 0 0 0 0 1 PW 0 0 0 0 1 1 PR 0 0 0 1 1 1 CW 0 0 1 1 1 1 CR 0 1 1 1 1 1 NL 1 1 1 1 1 1 锁模式的兼容性 LDLM -- 锁模式(cont’) 授权锁队列 转换锁队列 等待锁队列 LDLM -- queues (cont’) Lock1 CR Granted Queue Resource Converting Queue Waiting Queue Granted Queue Resource Converting Queue Waiting Queue Granted Queue Resource Converting Queue Waiting Queue Lock2 CR Lock1 CR Lock2 CW Lock3 PW Lock1 CR Lock3 CW Lock2 CR-EX LDLM—intent lock File Server Lustre Client Lustre Client lookup Lustre_create MDS lock module Mds_create exercise the intent lookup intent create lookup create a) Lustre create with intent lock lookup create lock module create lookup create b) Conve