IPFS白皮书（存储技术）.pdfVIP

IPFS - 可快速索引的版本化的点对点文件系统 摘要 星际文件系统是一种点对点的分布式文件系统， 旨在连接所有有相同的文件系 统的计算机设备。在某些方面， IPFS类似于web, 但web 是中心化的，而IPFS 是一个单一的Bittorrent 群集，用git 仓库分布式存储。换句话说，IPFS 供了高吞吐量的内容寻址块存储模型， 具有内容寻址的超链接。这形成了一个 广义的MerkleDAG 数据结构，可以用这个数据结构构建版本文件系统，区块链， 甚至是永久性网站。。IPFS 结合了分布式哈希表，带有激励机制的块交换和自 我认证命名空间。IPFS 没有单故障点， 节点不需要相互信任。 1. 介绍 在全球分布式文件系统这领域， 已经有许多人的尝试。一些系统已经取得了重 大的成功， 而很多却完全失败了。在学术尝试中， AFS 【6】就是成功的例子， 如今已经得到广泛的应用， 然而，其他的 【7， ？】却没有得到相同的结果。 在学术界之外，应用最广泛的是面向音视频媒体的点对点文件共享系统。 最值 得注意的是， Napster,KaZaA 和BitTorrent[2]部署的文件分发系统支持1亿 用户的同时在线。即使在今天， BitTorrent 也维持着每天千万节点的活跃数。 基于这些学术文件系统理论而实现的应用程序有很多的用户量， 然而，这些系 统理论是在应用层，而没有放在基础层。以致没有出现通用的文件系统基础框架， 给全球供低延迟的分发。 也许是因为HTTP这样 “足够好 “的系统已经存在。到目前为止，HTTP 已经作为 “分布式文件系统“的协议，并且已经大量部署，再与浏览器相结合，具有巨大 的技术和社会影响力。在现在，它已经成为互联网传输文件的事实标准。然而， 他没有采用最近15年的发明的数十种先进的文件分发技术。 从一方面讲， 由 于向后兼容的限制 和 当前新模式的投入， 不断发展http web 的基础设施几 乎是不可能的。但从一个角度看， 从http 出现以来， 已经有许多新协议出现 并被广泛使用。升级http协议虽然能引入新功能和加强当前http协议，但会降 低用户的体验。 有些行业已经摆脱使用HTTP 这么久， 因为移动小文件相对便宜，即使对拥有 大流量的小组织也是如此。但是，随着新的挑战，我们正在进入数据分发的新纪 元。 （a）托管和分发PB级数据集， （b）跨组织的大数据计算， （c）大批量的高清晰度按需或实时媒体流， （d）大规模数据集的版本化和链接， （e）防止意外丢失重要文件等。其中许多可以归结为 “大量数据，无处不在”。 由于关键功能和带宽问题，我们已经为不同的数据放弃了HTTP 分销协议。下一 步是使它们成为web 自己的一部分。 正交于有效的数据分发，版本控制系统，已经设法开发重要的数据协作工作流程。 Git是分布式源代码版本控制系统，开发了许多有用的方法来建模和实现分布式 数据操作。Git工具链供了灵活的版本控制功能，这正是大量的文件分发系统 所严重缺乏的。由Git启发的新解决方案正在出现，如Camlistore [？]，个人 文件存储系统，Dat [？]数据协作工具链和数据集包管理器。Git 已经影响了分 布式文件系统设计[9]，因为其内容涉及到MerkleDAG数据模型，能够实现强大 的文件分发策略。还有待探讨的是，这种数据结构如何影响面向高吞吐量的文件 系统的设计，以及如何升级Web本身。 本文介绍了IPFS，一种新颖的对等版本控制的文件系统，旨在调和这些问题。 IPFS综合了许多以前成功的系统的优点。 IPFS产生了突出的效果， 甚至比参 考的这些系统的总和还要好。IPFS的核心原则是将所有数据建模为同一Merkle DAG 的一部分。 2. 背景 本节回顾了IPFS所采用成功的点对点系统技术的重要属性。 2.1 分布式哈希表(DHT) 分布式散列表 （DHT）被广泛用于协调和维护关于对等系统的元数据。比如， MainlineDHT 是一个去中心化哈希表，他可追踪查找所有的对等节点。 2.1.1 KADEMLIA DHT Kademlia[10] 是受欢迎的DHT, 它供： 1.通过大量网络进行高效查询：查询平均联系人O(log2N)节点。 （例如，20 跳10万个节点的网络） 2.低协调开销：优化数量的控制消息发送到其他节点。 3.抵抗各种攻击，喜欢长寿节点。 4.在对等应用中广泛使用，包括Gnutella和BitTorrent，形成了超过2000万 个节点的网络[16]。 2.1.2 CORAL DSHT 虽然一些对