kademlia详解（kademlia详解）.docVIP

kademlia详解（kademlia详解） kademlia详解 taken from neoragex2002 s weblog 前两天在网上看到世界知名的电骡服务器razorback 2被查封、4人被拘禁的消息, 深感当前做emule / bittorrent等p2p文件交换软件的不易.以分布式哈希表方式 (dht, distributed hash table) 来代替集中索引服务器可以说是目前可以预见到的为数不多的p2p软件发展趋势之一, 比较典型的方案主要包括: can、chord、 tapestry、pastry、kademlia和viceroy等, 而kademlia协议则是其中应用最为广泛、原理和实现最为实用、简洁的一种, 当前主流的p2p软件无一例外地采用了它作为自己的辅助检索协议, 如emule、bitcomet、bitspirit和azureus等.鉴于 kademlia日益增长的强大影响力, 今天特地在blog里写下这篇 小文, 算是对其相关知识系统的总结. 1. kademlia简述 kademlia (简称kad) 属于一种典型的结构化p2p覆盖网络 (structured p2p overlay network), 以分布式的应用层全网方式来进行信息的存储和检索是其尝试解决的主要问题.在kademlia网络中, 所有信息均以的哈希表条目形式加以存储, 这些条目被分散地存储在各个节点上, 从而以全网方式构成一张巨大的分布式哈希表.我们可以形象地把这张哈希大表看成是一本字典: 只要知道了信息索引的key, 我们便可以通过kademlia协议来查询其所对应的value信息, 而不管这个value信息究竟是存储在哪一个节点之上.在emule、bittorrent等p2p文件交换系统中, kademlia主要充当了文件信息检索协议这一关 键角色, 但kad网络的应用并不仅限于文件交换.下文的描述将主要围绕emule中kad网络的设计与实现展开. 2. emule的kad网络中究竟存储了哪些信息? 只要是能够表述成为字典条目形式的信息kad网络均能存储, 一个kad网络能够同时存储多张分布式哈希表.以emule为例, 在任一时刻, 其kad网络均存储并维护着两张分布式哈希表, 一张我们可以将其命名为关键词字典, 而另一张则可以称之为文件索引字典. a. 关键词字典: 主要用于根据给出的关键词查询其所对应的文件名称及相关文件信息, 其中key的值等于所给出的关键词字符串的160比特sha1散列, 而其对应的 value则为一个列表, 在这个列表当中, 给出了所有的文件名称当中拥有对应关键词的文件信息, 这些信息我们可以简单地用一个3元组条目表示: (文件名, 文件长度, 文件的sha1校验值), 举个例子, 假定存在着一个文件 warcraft _ frozen _ throne.iso When we are in Warcraft, frozen, throne these three keywords to query Kad, Kad will likely return respectively three different list of documents in common of the three lists that they all contain a file called warcraft_frozen_throne.iso by the information items. Entry, we can get the corresponding ISO file name, and the length of 160 bit SHA1 checksum. B. file index Dictionary: according to file information given to query the file owner (i.e. the file download service provider), in which the value of key is equal to SHA1 check required to download the file value (this is mainly because, from a statistical point of view, the 160 bit SHA1 checksum value can be uniquely determined a specific content of the data file); and the corresponding value is a list, it gives al