Web信息抽取系统的设计与实现-软件工程专业论文.docxVIP

Classified Index: TP311 U.D.C.: 621.3 Dissertation for the Master’s Degree in Engineering DESIGN AND IMPLEMENTATION OF WEB INFORMATION EXTRACTION SYSTEM Candidate: Ding Qiaoyi Supervisor: Associate Professor Zhang Yu Associate Supervisor: Senior Engineer Sun Yiming Academic Degree Applied for: Master of Engineering Speciality: Software Engineering Affiliation: School of Software Date of Defence: June, 2012 Degree-Conferring-Institution: Harbin Institute of Technology 哈尔滨工业大学工程硕士学位论文 哈尔滨工业大学工程硕士学位论文 - - I - 摘 要 当前 Web 上承载的海量信息，使得它变成了人们日常生活中获取信息的一个 重要源头。探索一种方便人们从万维网的海量信息中挖掘出自己所需要的内容的 方法变得越来越重要。Web 信息抽取就是众多方法中的一个有效解决方案。本课 题来自于阿里巴巴（中国）网络技术有限公司搜索平台部内容系统组的实际需求。 本课题所研究的内容是，从 Web 信息抽取应用领域出发，通过基于抽取对象 和 Web 页面结构的特点，分析了系统需要解决的信息抽取问题；并且针对这些问 题，分别提出了有针对性的抽取解决方案。基于这些抽取方案，本课题设计和实 现一个能够从万维网中抽取用户需要信息的 Web 信息抽取系统。 在完成本课题的过程中，作者分析了 Web 信息抽取解决的问题，定义了典型 的信息抽取目标；并以此为基础阐述了一种表示 Web 网页内容中结构化信息的数 据模型。作者进行了系统业务场景的应用描述，并以此归纳成为系统的基本需求， 依据软件开发生命周期，依次从需求分析、系统设计和实现以及系统测试这几个 方面，详细介绍了课题系统的设计和实现。在此过程中，本文使用用例模型分析 和总结了系统的功能性需求。然后，以此模型为基础设计了整个系统的功能模块 和系统体系结构。作为这一部分的核心，针对系统抽取任务工作引擎和 Http 服务 器框架这两个组件的设计和实现，本文借助类图、时序图、流程图模型对它们进 行了重点的介绍。另外，本文也对系统中使用的几种 Web 信息抽取算法，如基于 模板信息抽取算法、列表信息抽取算法的思想和实现做了详细介绍，并且进行了 一定的算法分析和评价。最后，通过系统测试和算法测评证明了系统可以满足预 先定义的需求。 关键字：Web 信息挖掘；Web 信息抽取；基于模板信息抽取；列表信息抽取 - - II - Abstract Nowadays, the Web which is based on the Internet, is playing a more and more important role in people’s daily life. There is lots of information conveyed by the Web, which makes it a significant information source in people’s life. Finding a convenient way of digging the desired information from the vast amount of the data on the Web is very important. Web information extraction is one of the useful solutions. This program comes from search platform department at Alibaba. The thesis is mainly about the analysis of Web extaction problem, according to its application fields. The thesis defined the extaction problems, from the view of the extraction tragets’ and Web pages’ features, and also put forward specific