web 网页信息变化时间局部性规律及验证.pdfVIP

第 卷 第 期 24 4 ， 年 月 情 报 学 报 Vol .24 4 2005 8 ， ugust 2005 Web 网页信息变化的时间局部性规律及其验证1） 孟 涛 闫宏飞 王继民 （北京大学计算机科学技术系网络与分布式系统实验室，北京 100871） 摘要 掌握Web 网页信息变化的时间规律可以更有针对性的指导搜索引擎等Web 应用系统更有效地进行搜 集。本文旨在研究中国范围内Web 网页变化的时间规律，针对网页变化的频率和间隔两项指标，随机选取数百万 网页作为样本，设计试验在一个月内对上述两项指标进行考察。从结论中，我们发现网页变化的若干规律，并发现 其中可能存在时间局部性规律。因此，我们引入了堆栈距离模型，在针对Web 网页的变化特性和具体实验方法对 其修正之后，再次设计实验对网页变化的时间局部性规律进行考察。结果表明，网页的变化存在明显的时间局部 性。最后，介绍了这种时间局部性规律在网页搜集中的实际应用。 关键词 Web 网页 时间局部性 堆栈距离模型 变化次数 变化间隔 Characterizing Temporal Locality in Changes of Web Documents ， Meng Tao Yan Hongfei and Wang Jimin （ ， ， ， ） Networking Distributed System Laboratory Department of Computer Science and Technology Peking University Beij ing 100871 Abstract ， In this paper we discover and characterize the temporal locality in changes of web documents . First we sample the Chinese web and perform an experiment to record all the changes of each web page in the sample during a month . Our statistics shows the temporal correlation of these changes . Then we update the stack distance model to describe the changes of web pages and use a LRU stack to get the detailed parameters such as average stack distance，