url散列函数.pdfVIP

1000-9825/2004/15(02)0179 ©2004 Journal of Software 软 件 学 报 Vol.15, No.2 两种对URL 的散列效果很好的函数 + 李晓明, 凤旺森 (北京大学 计算机科学技术系,北京 100871) Two Effective Functions on Hashing URL + LI Xiao-Ming , FENG Wang-Sen (Department of Computer Science and Technology, Peking University, Beijing 100871, China) + Corresponding author: Phn: +86- 10 Fax: +86- 10 E-mail: lxm@, Received 2003-03-05; Accepted 2003-06-18 Li XM, Feng WS. Two effective functions on hashing URL. Journal of Software, 2004,15(2):179~184. /1000-9825/15/ 179.htm Abstract: Hashing large collection of URLs is an inevitable problem in many Web research activities. Through a large scale experiment, three hash functions are compared in this paper. Two metrics were developed for the comparison, which are related to web structure analysis and Web crawling, respectively. The finding is that the well-known function for hashing sequence of symbols, ELFhash, is not very good in this regard, and the other two functions are better and thus recommended. Key words : hashing; ELFhash; URL; even distribution; Web mining; load balance 摘 要: 在Web 信息处理的研究中,不少情况下需要对很大的URL 序列进行散列操作.针对两种典型的应用场合, 即Web 结构分析中的信息查询和并行搜索引擎中的负载平衡,基于一个含有2 000 多万个URL 的序列,进行了大规 模的实验评测.说明在许多文献中推荐的对字符串散列效果很好的ELFhash 函数对URL 的散列效果并不好,同时推 荐了两种对URL 散列效果很好的函数. 关键词: 散列;ELFhash;URL;均匀分布;Web 挖掘; 负载平衡 中图法分类号: TP314 文献标识码: A [1] 散列(hashing)是信息存储和查询所用的一项基本技术,许多教科书中都有介绍 .这项技术虽然发明于 50 [2] [3~5] 年前,其间也有过不少非常系统、完整的研究工作 ,但直到近几年仍然有新的工作进展 .散列技术的基础性 及其在许多领域的可应用性是其不断被人们研究的源泉,而对它进行的研究能不断有新意的基本原因在于,其 优化性能在很大程度上取决于输入键的结构. 本文研究散列的键是用于访问网页的 url, 即形如 [6] “/ …”之类的字符串 . 考虑如下两种应用情形: