一种基于时间空间和内容三维Web分析模型.docVIP

摘 要 2 第一章 研究背景 3 §1.1 WWW简介 3 §1.2 搜索引擎简介 3 §1.3 天网搜索引擎和中国Web信息博物馆简介 3 §1.4 对Web特征的相关研究简介 3 第二章 模型概述 4 §2.1 维、层次、粒度 4 §2.2 Web的时间维 5 §2.2 Web的空间维 6 §2.3 Web的内容维 6 §2.4 Web的多维分析模型 7 第三章 实验分析 8 §3.1 实验背景 8 §3.2 实验流程 8 §3.2.1 网页搜集 9 §3.2.2 网页入库 10 §3.2.3 网页净化 11 §3.2.4 网页内容分析 11 §3.2.5 建立网页信息表 11 §3.2.6 建立主机信息表 12 §3.2.7 使用SQL语言查询分析 13 §3.3 实验结果 14 §3.3.1时间维的分析结果 14 §3.3.2空间维的分析结果 16 §3.3.3内容维的分析结果 17 第四章 结论 19 参考文献 20 摘 要 搜索引擎从WWW上不断的搜集网页，主要用来提供网页检索和网页快照服务。随着搜集到的网页的不断增长，人们迫切需要一种研究方法对搜集来的海量网页进行有效的分析，以便对快速发展的WWW保持清醒的认识，并指导搜索引擎更有效的服务。数据库、数据仓库和数据挖掘技术的不断成熟，使人们对WWW的网页进行多维分析和挖掘成为可能。 本文提出一种基于时间、空间和内容的三维Web分析模型，它可以对海量的网页数据进行多维度、多层次的分析工作。在其后的实验中我们实现了该模型，并通过对几批网页数据进行多维分析，在时间、空间和内容上考察了Web的一些特征。 关键词 Web, 网页，搜索引擎，数据挖掘 Abstract Search engines crawl web pages from World Wide Web, providing the service of finding pages from the Web for people. As the crawled pages increase, we need an efficient method to analyze them so we can have an explicit understanding of the Web and make the search engine more powerful. With the development of the technology of the database, data warehouse and data mining, multi-dimension mining for web pages is possible. In this paper we provide a three-dimension model for Web analyzing based on time, space and content. It can analyze web pages from a variety of angles and levels. In our experiment, we realized the model simply, and we mined some sets of web pages and studied several features of the Web in different angles. Keywords: Web, web pages, search engine, data mining 第一章 研究背景 §1.1 WWW简介 万维网（Word Wide Web），简称WWW、Web，是1989年瑞士日内瓦欧洲粒子物理实验室（CERN）最先开发的一个分布式超媒体信息查询系统。它以超文本和超媒体为核心技术，将文本、图形、图像、音频和视频等信息有机的结合起来，给人们以丰富的信息表示空间。WWW基于客户机/服务器(Client/Server)的工作模式，客户机浏览器，WWW服务器则是指保存WWW信息的计算机它利用超文本传输协议HTTP，传输超媒体信息。HTML语言179，544，共371，600个站点。 §1.2 搜索引擎简介 WWW的发展给人们带来了巨大的方便，但随着信息的大量增长，人们很难自身去迅速定位到我们真正需要的网页。搜索引擎的出现帮助人们能够快速找到所需要的网页。它能够自动从网上搜集和分析网页，建立索引，供用户进行关键词查询，找出相关网页的URL（Uniform Resource Locator，统一资源定位符）,并通过一定的排序算法将结果返回给用户。根据统计，大约85%的用户使用搜索引擎去定位他们需要的信息。 §1.3 天网