用Python教你如何“养”一只DHT爬虫.docVIP

用Python教你如何“养”一只DHT爬虫(1) 文讲的是要实现一个爬虫, 所以不会跟协议文档那么严格. 只要保证你能正确请求,回应即可. 用软件开发的一句话来说: 只要接口一致, 管你内部细节代码是怎么写的. AD： 不懂的赶紧去google, 要是缺一个, 我会一口盐汽水喷死你的! 最重要的是, 你必须会编程!!!!!!! 必须会!!!!!!!!!!! ok, DHT原理是什么我在这就不写了, 毕竟会看我这文章的人都是已经知道了的. 本文贴的代码均为Python, 使用其他编程语言的人可以看注释. 为了简单, 只会说大概思路和关键性代码, 细节自行搞定. 本文讲的是要实现一个爬虫, 所以不会跟协议文档那么严格. 只要保证你能正确请求,回应即可. 用软件开发的一句话来说: 只要接口一致, 管你内部细节代码是怎么写的. 第一步, 构建自己的路由表, 这里涉及到大量Python代码, 请深呼吸: 在构建自己的路由表之前, 得写两个辅助函数, 后面会用到: fromhashlibimportsha1 fromrandomimportrandint defnode_id(): 把爬虫 伪装 成正常node,一个正常的node有ip,port,nodeID三个属性,因为是基于UDP协议, 所以向对方发送信息时,即使没 明确 说明自己的ip和port时,对方自然会知道你的ip和port, 反之亦然.那么我们自身node就只需要生成一个nodeID就行,协议里说到nodeID用sha1算法生成, sha1算法生成的值是长度是20byte,也就是20*8=160bit,正好如DHT协议里说的那范围:0至2的160次方, 也就是总共能生成146150163733090高山茶 eupai.net2918203684832716283019655932542976个独一无二的node. ok,由于sha1总是生成20byte的值,所以哪怕你写SHA1(20)或SHA1(19)或SHA1( Iama2B )都可以, 只要保证大大降低与别人重复几率就行.注意,nodeID非十六进制, 也就是说非FF5C85FE1FDB933503999F9EB2EF59E4B0F51ECA这个样子,即非hash.hexdigest(). hash=sha1() s= foriinrange(20): s+=chr(randint(0,255)) hash.update(s) returnhash.digest() defintify(nid): 这是一个小工具,把一个nodeID转换为数字.后面会频繁用到. assertlen(nid)==20returnlong(nid.encode(hex),16)#先转换成16进制,再变成数字 协议里说道, table里有bucket, bucket里有node, 每个bucket有K个node, 目前K=8, 即每个bucket有8个node. 由于table范围是0到2的160次方, 那么一个table最多能有(2的160次方)K那么多的bucket. OK, 按照OOP编程思想来说, 那么肯定会有table, bucket, node这3个类, 无OOP的, 自己看着办. 由于是基于Kademila而写, 所以我习惯上把这三个类名变为KTable, KBucket, KNode: classKNode: def__init__(self,nid,ip,port): nid就是nodeID的简写,就不取id这么模糊的变量名了.__init__方法相当于别的OOP语言中的构造方法, 在python严格来说不是构造方法,它是初始化,不过,功能差不多就行. self.nid=nid#nodeID self.ip=ip self.port=port #以下两个方法非Python程序员不需关心 def__eq__(self,other): returnself.nid==other.nid def__ne__(self,other): returnself.nid!=other.nid classKBucket: def__init__(self,min,max): min和max就是该bucket负责的范围,比如该bucket的min:0,max:16的话, 那么存储的node的intify(nid)值均为:0到15,那16就不负责,这16将会是该bucket后面水草玛瑙 mnwg.net的bucket的min值. nodes属性就是个列表,存储node.last_accessed代表最后访问时间,因为协议里说到, 当该bucket负责的node有请求,回应操作;删除node;添加node;更新node;等这些操作时,