分布式存储与文件共享研究.pptVIP

分布式存储和文件共享研究 Zheng_shengwei Computer science of Peking university 全球规模分布式存储的基本问题 数据在那里存放？ －位置的无关性 数据的保密性 －私人数据的加密性，访问的授权。 数据的容错性 －数据的冗余，数据的重新分布 数据的维护：难 要求：自动的优化，诊断错误和自动的修复 提出的数据维护机制 数据维护方式： －存储级别的维护 与数据的语义无关 （文章的主要方法） －信息级别的维护 基于数据的语义，如数据的索引，分类等 存储级别的维护 采用的机制： －自我组织的路由管理 －m-of-n编码方式和修复 －拜占庭的更新和内在的复制管理 上述机制组成了一个高度可行的自我维护数据存储管理： －在服务器崩溃或者网络错误的时候自我的恢复 －自动的允许新的资源加入 －自动调节访问模式 系统的数据结构 －数据片断分布式存储 通过Erasure code来保证 使得每个数据片断都有一个全球唯一的标志GUID －查找数据片断 由Tapestry来保证（路由） 把Guid准确的映射到服务器的地址 －数据版本的控制 由于数据地只读性，则每更新一次就产生一个新的数据版本 Active Guid 系统的数据结构 －Inner ring 映射Active Guid－最近访问的历史版本 提高了容错性 同时也提供了： 数据的一致性，数据的合法作者，更新序列 维护着数据的更新历史记录 －数据复制的管理 通过Tapestry来告知其他的服务器 自我组织的路由管理 每个节点角色： －服务器 －客户端 －两者都是 有一个唯一标志的NodeID 此ID和位置和语义都无关 路由管理：Tapestry 保持多个最近的邻接点的指针(冗余） 自我组织的路由管理 路由策略： －在一个节点产生一个新的备份的时候，Tapesrty会存储一个从根节点到此节点的指针 －通过Tapestry查找一个数据的根节点时候，遇到一个有此备份的节点就返回 －－Tapestry通过向节点的邻接点来扩散路由消息 －结果Tapestry保持三个最少延迟的指针 自我组织的路由管理 Tapestry 例： 源节点0325 目标节点4598 一可能路径穿过的节点： －***8-**98-*598-4598 自我组织的路由管理 实践 结构： －5000节点的拓扑结构 －4096节点参与Tapestry路由管理 －任意从一个节点向256各目标节点发送包 同时Tapestry间隔使用UDP探测包来衡量连接状况，并且能够在检测到路由错误的时候马上利用冗 余指针来继续路由 自我组织的路由管理 其中B和E区是 Tapestry路由 机制错误的的 区域 自我组织的路由管理 －节点的加入 产生一个随机的NodeID标志自己 通过LDAP服务器来得到邻接点，然后通过邻接点来路由新节点消息，最终结果是新节点产生一个完全的路由表。 －节点的退出 1.由邻接点检测到节点的退出，更新路由表 2.通过存储地冗余指针来告知其他节点 M-of-N编码和修复 M-of-n编码 －erasure code把输入的一个数据目标的一系列M片断转换成N片断，NM,复制的分布在各个节点，任何M个片断都可以重新准确的重构成原来的数据。 －分块存储的时候维护一张erasure code表，维护每一块的信息，同时由inner ring维护块的更新信息。 －系统自动根据M的调节N保持冗余信息，保持数据的高容错性。 M-of-N编码和修复 修复 －错误的预测 在预测错误要发生前，将数据移动到别的盘 －本地扫描 节点根据本地存储的数据的内容用Hash检测 是否和节点的Guid符合。 －分布式检测和修复 由Tapestry检测是否低于一定冗余，保证有 足够的冗余来使得数据能够自动恢复 －全局扫描 拜占庭更新 －更新 通过inner ring来维护更新时候产生的新的版本，同时维护更新的历史记录 点对点文件共享系统 --目前的点对点文件共享系统问题 大多数没有考虑节点的本身特征如带宽,瓶颈， IP层的发包延迟等问题 因为获得接点这些特征的情况下，可以考虑任 务的分布，避免把经常访问的资源放在这些节 点上 点对点文件共享系统 --针对NAPSTER和GNUTELLA两个系统的研究分析 方法： 1。通过CRAWL得到节点资源的快照如地址，端 口，软件资源等 2。然后探测服务器的各种特征如瓶颈，带宽等 特征 点对点文