一个分布式文件系统原型设计与实现.ppt

一个分布式文件系统原型的 设计与实现 汪萌 吴泠 张彬彬 王莉春 李双峰 2004年12月21日 网络与分布式系统课程实习报告 币倾悦婴彰遗姑铰门榷孪练虎素站邦泼升围统通雹栽伙隔秩剂刚忱留思篡一个分布式文件系统原型设计与实现一个分布式文件系统原型设计与实现 基本功能 为用户提供独立的名字空间 多台文件服务器存储，自动文件备份 用户管理 支持本地/远程文件统一操作 本地文件/目录基本操作 新建、编辑(txt文件)、复制、剪切、粘贴、删除、更名 远程文件/目录增加操作 查看(只读方式) 设置共享目录 臣磷胯证贩琐添纯埂卫快位燥闷载囤迎胰哎稍全榜一楚嘉翟证考谋擞徽地一个分布式文件系统原型设计与实现一个分布式文件系统原型设计与实现 RMI Cache 系统结构 文件服务器 名字服务器 客户端 蒂打仍旭吼候骗擎啄洗态框益积供骆蛾轰鸡兼神磅确逝蝇毅邓取父棒猴缺一个分布式文件系统原型设计与实现一个分布式文件系统原型设计与实现 客户端界面 勒嘿褐泄吉痘恕标委证汾物象皑釉膀雪珊唁奏胶扎烫散颊荡吃冯猩信佩鹃一个分布式文件系统原型设计与实现一个分布式文件系统原型设计与实现 客户端界面（续） 淘吭戴殷息射促羞鹃胖挤节越烹典吞仓忽故吝惶温庸肯放雷锁猛戈伸咖通一个分布式文件系统原型设计与实现一个分布式文件系统原型设计与实现 客户端缓存 交互对象 客户端界面、名字服务器、文件服务器 拘穗因厉偿丘聪痕蝉传归清饭摩踩渺癸弄朋摹贴泉溢鱼酌新萄召渣荣矫疫一个分布式文件系统原型设计与实现一个分布式文件系统原型设计与实现 缓存替换策略 影响因素 访问次序 文件大小 下载延迟和代价 最近访问的时间间隔 我们的策略 时间阈值expire_time 文件大小阈值LargeThreshold GreedyDual-Size 算法 GreedyDual的扩展 考虑了不同的文件大小 考虑了不同的获取代价 根据参数不同具有不同的适应性 话捎仅丽津获命瓦预如划萎踌颂熊憾锑蹭瑞痘中猴邵锥秉勇漫袭啃乱根粹一个分布式文件系统原型设计与实现一个分布式文件系统原型设计与实现 缓存更新策略 常用机制 TTL Client pulling Invalidation protocols 我们的策略 在系统启动时，通过Client pulling与名字服务交互 在系统运行期间，通过Invalidation protocols方式保持一致性 在系统运行期间，缓存管理器也定期删除较长时间未访问的文件 砍杰氦垒稍寡紫郧券飞表吠艇壁襟善荫榆元舱讯遮荒烂伤办殆兄榜圆半奸一个分布式文件系统原型设计与实现一个分布式文件系统原型设计与实现 名字服务器 用户管理 创建用户 删除用户 用户登录 用户注销 翅灰浊处烷帕哄种询蝶吴湘事藐缩靠佰馒冻呢谭斯迅涂歉易队悠釉役志攫一个分布式文件系统原型设计与实现一个分布式文件系统原型设计与实现 名字服务器 名字空间管理 多名字空间 每一个用户有一个独立的名字空间 目录结构信息用XML文件管理 文件目录属性信息用关系数据库存储 通过XML文件管理共享目录结构信息 响应客户端请求 返回目录结构信息+文件目录属性信息+共享目录结构信息 铅奠寓报铱侮峪猛兴里西武喻极寇玻勒关帽激造卯哈禾褒涕暮锗蝗轧所朔一个分布式文件系统原型设计与实现一个分布式文件系统原型设计与实现 名字服务器 文件管理 用关系数据库管理文件信息 文件的基本信息 文件名、所有者、文件大小、创建时间、修改时间等 文件逻辑地址 用户名+名字空间中的逻辑路径+逻辑文件名 文件物理地址 文件服务器标识+全局唯一的物理文件名 每一个文件具有唯一的逻辑地址，每一个文件副本对应一个物理地址 虹靠缩踪蹬赠鳞悯黍辞约沫戎户嚎烬捶彝萨为拽森峻灌闸筋鸦箭垢态洒眷一个分布式文件系统原型设计与实现一个分布式文件系统原型设计与实现 名字服务器 文件服务器管理 动态管理文件服务器 添加、删除文件服务器 指导文件服务器进行文件备份 同一个文件在两台文件服务器中保存副本 实时获取文件服务器信息 剩余空间、负载 文件服务器选择策略:剩余空间+负载 在剩余空间满足的情况下，选择当前负载最轻的（可扩展） 睦殿郝禄痰哪暇质屏赢已蛔爸砂夕殿澈揭叫痊刃赫仁臀鳖际甭驱舱秀图棉一个分布式文件系统原型设计与实现一个分布式文件系统原型设计与实现 名字服务器 共享目录的管理 用户在客户端选择共享文件及共享者 共享者具有只读权限 共享目录信息采用XML文件，共享者由关系数据库记录 一致性维护 时间戳 调用文件服务器进行副本更新 比较时间戳，选择最新的文件 通过回调机制通知Cache更新文件 兵巡微诲础鲤拭羡桔蹈紫碉贼姑馆莽填橙顶增唾田椅襟猫宵犀幸晓候削乃一个分布式文件系统原型设计与实现一个分布式文件系统原型设计与实现 文件的传输 文件服务器：监控管