一个分布式文件系统原型的设计与实现.pptVIP

DFSt 一个分布式文件系统原型的设计与实现 一个分布式文件系统原型的 设计与实现 汪萌 吴泠 张彬彬 王莉春 李双峰 2004年12月21日 网络与分布式系统课程实习报告 */20 基本功能 为用户提供独立的名字空间 多台文件服务器存储，自动文件备份 用户管理 支持本地/远程文件统一操作 本地文件/目录基本操作 新建、编辑(txt文件)、复制、剪切、粘贴、删除、更名 远程文件/目录增加操作 查看(只读方式) 设置共享目录 */20 RMI Cache 系统结构 文件服务器 名字服务器 客户端 */20 客户端界面 */20 客户端界面（续） */20 客户端缓存 交互对象 客户端界面、名字服务器、文件服务器 */20 缓存替换策略 影响因素 访问次序 文件大小 下载延迟和代价 最近访问的时间间隔 我们的策略 时间阈值expire_time 文件大小阈值LargeThreshold GreedyDual-Size 算法 GreedyDual的扩展 考虑了不同的文件大小 考虑了不同的获取代价 根据参数不同具有不同的适应性 */20 缓存更新策略 常用机制 TTL Client pulling Invalidation protocols 我们的策略 在系统启动时，通过Client pulling与名字服务交互 在系统运行期间，通过Invalidation protocols方式保持一致性 在系统运行期间，缓存管理器也定期删除较长时间未访问的文件 */20 名字服务器 用户管理 创建用户 删除用户 用户登录 用户注销 */20 名字服务器 名字空间管理 多名字空间 每一个用户有一个独立的名字空间 目录结构信息用XML文件管理 文件目录属性信息用关系数据库存储 通过XML文件管理共享目录结构信息 响应客户端请求 返回目录结构信息+文件目录属性信息+共享目录结构信息 */20 名字服务器 文件管理 用关系数据库管理文件信息 文件的基本信息 文件名、所有者、文件大小、创建时间、修改时间等 文件逻辑地址 用户名+名字空间中的逻辑路径+逻辑文件名 文件物理地址 文件服务器标识+全局唯一的物理文件名 每一个文件具有唯一的逻辑地址，每一个文件副本对应一个物理地址 */20 名字服务器 文件服务器管理 动态管理文件服务器 添加、删除文件服务器 指导文件服务器进行文件备份 同一个文件在两台文件服务器中保存副本 实时获取文件服务器信息 剩余空间、负载 文件服务器选择策略:剩余空间+负载 在剩余空间满足的情况下，选择当前负载最轻的（可扩展） */20 名字服务器 共享目录的管理 用户在客户端选择共享文件及共享者 共享者具有只读权限 共享目录信息采用XML文件，共享者由关系数据库记录 一致性维护 时间戳 调用文件服务器进行副本更新 比较时间戳，选择最新的文件 通过回调机制通知Cache更新文件 */20 文件的传输 文件服务器：监控管理程序 监控文件服务器信息，提供当前的磁盘空间等资源信息 响应删除文件命令，删除文件服务器上的文件 响应备份命令，将本地文件备份到另一文件服务器上 客户端使用的工具包 上传文件、下载文件、删除文件 ftp协议 NS使用的工具包 提供资源信息查询 通知备份文件到第三方文件服务器 删除文件服务器上的备份文件功能 */20 总结 访问透明性 为本地文件/远程文件提供统一操作方式 位置透明性 用户独立的文件名字空间 移动透明性 文件服务器的文件管理对用户透明 */20 总结（续） 安全性 用户管理 共享设置 文件复制 文件服务器文档备份 名字服务器文档备份 一致性 共享文件的更新 可扩展性 文件服务器的管理 */20 主要参考文献 分布式系统：概念与设计 郭朝阳、代亚非、韩华 燕星系统的设计及其实现中的技术问题. 计算机工程与应用 2003.9 乐德广等. 网络缓存技术及应用的研究. 应用技术. 2003.5 P. Cao and S. Irani, Cost-Aware WWW Proxy Caching Algorithms, Proceedings of USENIX Symposium on Internet Technologies and Systems (USITS), Monterey, CA, pp.193-206, December 1997. */20 We are DSFive!!! Hi，I’m 李双峰，我负责Cache Hi，I’m 李双峰，我负责Cache Hi，I’m 汪萌，我负责GUI Hi，I’m 王莉春，我负责文件传输 Hi，we’re 吴泠张彬彬，我们负责名字服务器 */20 DFSt 一个分布式文件系统原型的设