网络爬虫工具--larbin代码分析.docx

在larbin里判断用一个URL是否被抓取过，用的是bloomfilter算法(至少网上的人这么说)，但是我感觉与《数学之美系列二十一?－?布隆过滤器（BloomFilter）》中所介绍的算法有着很大的不同，因为larbin中只是简单用了hash方法，它有点像位图法，但我的算法很一般，意见仅供参考。

???????先看一下hashTable的类定义：

class?hashTable?{

private:

????ssize_t?size;

????char?*table;

?

public:

????/*constructor*/

????hashTable(bool?create);