Researches on Distributed Storage.pptVIP

Researches on Distributed Storage 计算机学院 张一鸣 2006.10 主要内容 (NSDI, OSDI, and SOSP) §1 可靠性 §2 缓存 §3 P2P存储 §4 其他 §1 可靠性 Glacier: Highly durable, decentralized storage despite massive correlated failures (nsdi 05, Rice) Availability of Multi-Object Operations (nsdi06, CMU, Best Paper) Subtleties in Tolerating Correlated Failures in Wide-area Storage Systems (nsdi06, CMU) 1. Glacier: Highly durable, decentralized storage despite massive correlated failures (nsdi 05, Rice) Question：目前的系统或者假设节点失效是独立的，或者依靠introspection（内省）把redundant数据放置在低失效相关的节点上。不幸的是，节点失效不是独立的，而且构建一个大规模系统的准确的失效模型非常困难。同时，Internet上的恶意病毒也很有可能造成非独立的节点失效。 Glacier：一个分布式存储系统，依靠大量的冗余来对抗大规模的相关失效。在空间和时间上最小化冗余的开销： Erasure coding和garbage collection减小了存储开销; 小对象聚合和松耦合的redundant片段的维护协议减小了消息开销. 2. Availability of Multi-Object Operations (nsdi06, CMU, Best Paper) Question：现有的分布式存储系统通常注意了单独的数据对象的availability，然而事实上用户级任务通常需要访问多个对象。 现有分布式存储系统assign replicas的方式是不同的： 随机assign replicas到各节点（RAND） 人工把对象划分不同的set并把每个set映射到多个节点（PTN） Assign replicas到DHT环上的连续多个节点 上述方式中，在单独对象的availability相同的情况下，多对象availability可能相差很大。 2. Availability of Multi-Object Operations (nsdi06, CMU, Best Paper) 多对象操作可以分为两类： Strict操作，不能容忍任何对象的缺失 Tolerant操作：非strict的操作 分析表明： 对strict操作，PTN最好 对tolerant操作，RAND最好 没有一种方式能够achieve the best of both PTN and RAND 我们进一步的模拟表明，虽然操作对对象的缺失有多种容忍级别，但是只有两种级别在选择一种assignment的时候起作用：操作是否需要所有对象（strict，loose）? 因此，对所有loose操作，RAND最好；对strict操作，PTN最好；其他方式在RAND和PTN之间。 3. Subtleties in Tolerating Correlated Failures in Wide-area Storage Systems (nsdi06, CMU) Question：节点失效通常是相关的，其原因包括system software bugs, DDoS attacks, virus/worm infections, node overload, and human errors。 通过多个现实中的failure traces，我们定性的回答了4个关于怎样设计tolerating correlated failures系统的重要的问题。 相关失效 能否使用历史纪录进行模式预测? 答案：几乎不能。 仅使用失效规模进行建模是否足够? 答案：否。。 使用更多的 fragments/replicas 对提高 availability是否总是有效? 答案：有效性越来越小。 独立失效下好的设计在相关失效下一定好吗? 答案：否。 §2 缓存 Shark: Scaling File Servers via Cooperative Caching (nsdi 05，New York) Program-Counter-Based Pattern Classification in Buffer Caching (osdi04