基于内容单元的网页解析与内容提取-计算机科学与技术专业论文.docxVIP

哈尔滨工业大学工学硕士学位论文 哈尔滨工业大学工学硕士学位论文 II II Classified Index: TP391.3 U.D.C: 621.3 Dissertation for the Master Degree of Engineering CONTENT UNIT BASED WEB PAGE ANALYSIS AND CONTENT EXTRACTION Candidate: Jingqi Wang Supervisor: Prof. Xiaolong Wang Associate Supervisor: Associate Prof. Qingcai Chen Academic Degree Applied for: Master of Engineering Specialty: Computer Science and Technology Affiliation: Shenzhen Graduate School Date of Defence: December， 2008 Degree-Conferring-Institution: Harbin Institute of Technology I I 摘 要 随着互联网技术的发展，在线中文网页的数量迅速增加，互联网上的信 息量越来越大。搜索引擎能够有效地组织和分析海量的信息资源，帮助用户 迅速地获取所需要的知识和信息。然而互联网上的网页普遍存在着一些与用 户需求无关的噪声内容，这些内容影响了搜索引擎对网页的处理质量。因此， 对全部网页的预处理工作就必不可少。 本文的目的在于通过网页预处理技术，为搜索引擎建立一个内容精炼、 格式完整、编码统一的净化网页库，为其他模块提供数据支持。 网页处理技术经过多年的发展，逐渐形成了 DOM 结点解析与分块解析 两种思路。然而由于对网页分划粒度的不当，前者容易割裂结点之间的语义 关联，后者很难过滤分块内部的内容。为了弥补他们的缺陷，本文找到了一 种介于二者之间的网页解析粒度，称为内容单元，并在内容单元粒度上完成 了网页预处理工作。本文的研究内容主要包括以下几个方面： (1) 提出网页内容单元的定义，并以内容单元为粒度完成网页分割解 析； (2) 利用内容单元反映出来的网页结构特征和语言特征，完成主题型网 页的识别；根据内容单元的组成、结构和功能，利用启发式规则对其进行取 舍，完成网页正文内容的提取；识别具有特定功能的内容单元，提取他们当 中蕴含的网页题目、时间、导航等信息； (3) 在单个网页的基础上构造并行净 化程序，完成搜索引擎 T 级 (terabyte)原始数据的净化，重组格式，统一编码。 从实验中得到的结论证明了网页内容单元解析粒度的有效性，对比显示 了基于内容单元的网页预处理对主题型网页识别和正文提取效果的提高。同 时 Inar 网页预处理模块的效果在网页分类应用中得到了验证。 关键词 内容单元；文档对象模型；网页解析；内容提取 II II Abstract With the fast development of the internet technology, a huge amount of Chinese web pages have been accumulated. The internet has become a large information archive. Search engines can effectively organize and analyze huge information resource on the web, and help users to find useful information efficiently. However, it is very common that web page contains some noisy texts which are irrelevant to the user’s information need. The information process quality of a search engine can be greatly influenced by such content. Therefore, a pre-processing of the web page is indispensable. This thesis aims at establishing a concise, formatted, code-unified ripe collection of web pages for the search engines through web page pre-pro