10-分布式文件系统.pptVIP

xFS（无服务文件系统） 新的设计方法 Frangipani 存储责任独立于管理和其它服务责任进行分布 将文件数据分散存储到多个计算机上 软件的RAID存储系统 协同缓存 将持久存储责任和其他文件服务活动相分离 Petal：为多个服务器磁盘提供了一个分布式的磁盘抽象 日志结构的数据存储 xFS体系结构 分布式文件系统 简介 文件服务体系结构 SUN网络文件系统 Andrew文件系统 最新进展 小结 NFS设计中的关键问题 小结 NFS 高效使用客户缓存 缓存监控 客户或服务器崩溃后的重启 读/写的高度透明 可扩展性 无状态，效率，可扩展性不高 小结（续） AFS DFS 可扩展性好 支持广域网以及普适计算方面的应用 关键问题 并发操作需要采取什么措施？ 保持性能需要采取什么措施？ 透明性需要采取什么措施？ 系统容错需要采取什么措施？ 虚拟文件系统，客户集成 整体文件传送，整体文件缓存，回调 无状态，没有open和close操作 检查有效性，回调 The End * UNIX文件系统的高速缓存 服务器缓存 NFS服务器的读缓存 预先读，一种缓存替换策略 延迟写，该缓冲区将被其他页占用时才将该页的内容写入磁盘（性能） 周期性同步写，如30秒（防止数据丢失） 和本地文件系统相同 服务器缓存（续） NFS服务器的写缓存：增强可靠性（在客户和服务器间进行通信） 写透缓存：在给客户发送应答前先将应答写入磁盘（至少一次，容错） 提交操作：当文件关闭时，发送一个commit（性能） 在客户端缓存文件块 客户缓存 保持一致性 有效性条件 客户轮询服务器来检查他们所用的缓存数据是否是最新的。（读/写时，只发送查询信息） 缓存中的每个数据块被标上两个时间戳 选择t时对一致性和效率进行折衷，如3~30秒。 有效性条件： (T- Tc t) ∨(Tmclient = Tmserver) Tc：缓存条目上一次被验证的时间。 Tm：服务器上一次修改文件块的时间。 减小对服务器进行getattr调用的几种方法 客户缓存（续） 当客户收到一个新的Tmserver值时，将该值应用于所有相关文件派生的缓存项 将每一个文件操作的结果同当前文件属性一起发送，如果Tmserver值改变，客户便可用它来更新缓存中与文件相关的条目 采用自适应算法来设置更新间隔值t，对于大多数文件而言，可以极大地减少调用数量 写缓存 客户缓存（续） 缓存语义 关闭文件时将文件写到服务器 周期性进行同步写 不能保证提供和传统的UNIX系统一样的一致性 访问透明性 NFS小结 位置透明性 移动透明性 可伸缩性 文件复制 移动时需要更新客户上的远程安装表 性能受到热点文件的限制 不支持具有更新的文件的复制 硬件和操作系统的异构性 NFS小结 容错 一致性 安全性 效率 无状态服务器，幂等操作，写透性 与Kerberos结合 客户缓存 分布式文件系统 简介 文件服务体系结构 SUN网络文件系统 Andrew文件系统 最新进展 小结 Andrew文件系统 信息共享 AFS的动机 可扩展性 设计特点 海量用户间共享信息 海量用户 海量文件 海量用户存取热点文件 整体文件服务 整体文件缓存 文件比较小 典型的UNIX文件系统 读操作是写操作的6倍 通常都是顺序存取，随机存取比较少见 大多数文件是被某一个特定的用户访问 大多数共享文件是被某一个特定的用户修改 最近使用的文件很可能再次被使用 大多数文件的大小都小于10k 客户打开一个远程文件 在客户机上存储文件副本 客户在本地副本上进行读/写 客户关闭文件 使用AFS的典型场景 如果文件被更新，将它刷新至服务器 大多数文件 AFS设计的基础 工作集（100MB） 不支持数据库文件 更新频率小 始终被同一用户存取 系统体系结构 实现 名字空间 UNIX内核—BSD的修改版本 截获指向共享名字空间中的文件调用，并将它们传递给客户计算机上的Venus进程处理 在Andrew文件系统中的进程分布 AFS的客户所看到的文件名空间 AFS中系统调用拦截 UNIX内核截获哪些指向共享名字空间文件的调用，如open﹑close和其它一些系统调用，并将它们传递给守护进程 每个工作站本地磁盘上都有一个文件分区被用作文件的缓存 AFS中系统调用拦截（续） 当客户对共享文件空间内的文件发出open或close系统调用时，AFS怎样获得控制？ 如何定位包含所需文件的服务器？ 在工作站上如何为缓存文件分配存储空间？ 当文件可能被多个客户更新时，AFS怎样保证缓存中的文件时最新的？ 实现的问题 Venus 实现（续） 通过fid进行存取 一步一步地进行查找 文件缓存 把路径名翻译成fid 一个文件分区用作文件缓存：通常可以容纳百个一般大小的文件 维护缓存一致性：回调机制 32位