利用数据挖掘提高网络响应速度的技术研究.pdfVIP

http :// 利用数据挖掘提高网络响应速度的技术研究 郑韫旸，孟哲 武汉理工大学信息工程学院，武汉（430063） E-mail ：yy251@ 摘 要：随着网络的普及，人们对网络服务质量的要求越来越高，提高网络响应速度迫在眉 睫。本文提出一个网页预取系统的模型，它利用数据挖掘技术挖掘用户的兴趣规则，根据用 户当前的需求预测用户接下来的行为，预先下载用户可能访问的页面，从而达到提高网络响 应速度的目的。 关键词：数据挖掘；网页预取；提高网速 1. 引言 截至 2008 年 2 月，我国网民数达2.21 亿人，超过美国居全球首位。中国上网人数超过 美国，说明我国信息化产业得到了飞速的发展，网络越来越普及，网络已经成为人们获取资 源的重要途径[1] 。随着网络在人们日常生活中占据的比重越来越大，人们对网络服务质量的 要求也越来越高。因此，如何提高网络速度就成了人们迫切需要解决的问题。 一般的浏览器都使用了高速缓存技术，它将用户访问过的页面保存在本地机器上。当用 户再次访问这些页面时，浏览器会检查Web服务器上对应的页面有没有更新，如果没有更新， 那么就从本地取该页面，否则就从对应的Web服务器上取回该页面[2] 。这种方式对于用户曾 经访问过的页面有一定的加速作用，但对于一个用户未曾访问过的页面无法缓冲，因此响应 性能得不到改善。 如果预先下载用户将要访问的页面存入本地硬盘的高速缓冲区，那么，当用户访问这个 页面时，浏览器只需从缓冲区中取出，从而节省了网络的传输时间。但是，预先下载的页面 可能是用户不需要的。为了避免毫无选择的下载所有的页面造成时间和宽带的浪费，可以利 用数据挖掘技术预测用户的行为，从而选择最有价值的页面预先下载。 2. 利用数据挖掘技术提高网络响应速度的技术 现代数据挖掘技术是指 20 世纪 80 年代末所出现的数据挖掘技术，这些数据挖掘技术大 多可以从数据仓库中提取人们所感兴趣的、事先不知道的、隐含在数据中的有用的信息和知 识，并将这些知识用概念、规则、规律和模式等方式展示给用户，使用户得以解决信息时代 中的“数据过量，信息不足”的矛盾[3] 。目前，数据挖掘技术已经广泛应用于各个领域。 网络上的资源丰富，但一般来说，用户只对其中一部分信息感兴趣。利用数据挖掘技术 发现用户的兴趣偏好，就能够预测用户的行为，预先下载将被访问的页面，从而提高网络响 应速度。 2.1 聚类分析算法 利用聚类分析算法，可以发现用户兴趣偏好。聚类分析算法可以定义为：将一组数据分 组，使其具有最大的组内相似性和最小的组间相似性，也就是说，最后的结果要达到不同的 - 1 - http :// [4] 聚类中的数据尽可能的不同，而同一聚类中的数据尽可能的相似 。目前的文本聚类方法大 致可以分为层次凝聚法和平面划分法两种类型。 2.1.1 层次凝聚法 对于给定的文档集合D={d ，…，d ，…，d }，层次聚类的过程如下： 1 i n （1）将D 中的每一文档d 作为一个聚类中心c ={d }，形成D 的一个聚类集合C={c ，… i i i 1 c ，…，c }； i n c c