毕设参考2012设计1评审原版刘铎9本12301117.pdfVIP

本科毕业设计（论文） 基于Python 的网页 抽取系统的设计与实现 Python-based Web Information Extraction System Design And Implementation 学 院： 软件学院 专 业： 软件工程 姓名： X 学 号： X 指导教师： X 交通大学 2016 年5 月 学士论文 使用授权书 本学士论文作者完全了解 交通大学有关保留、使用学士论文的规定。特授权北 京交通大学可以将学士论文的全部或部分内容编入有关数据库进行检索，提供阅览服 务，并采用影印、缩印或扫描等 手段保存、汇编以供查阅和借阅。 （保密的 在 后适用本授权说明） 作者签名： 指导教师签名： 签字日期： 年 月 日 签字日期： 年 月 日 交通大学毕业设计（论文） 中 要 中 要 摘要： 随着互联网的飞速发展与普及，互联网 已经成为了当今最大的 来源。事实 上，在不断扩充的互联网 中也充斥着大量的虚假和垃圾 ，这些不相关的 也 地降低了人们获取自己感兴趣的 的效率。因此越来越多的研究集中于如何改进 web 抽取技术，以期望在庞大的互联网 库中自动并且高效地抽取出有用的、准 确的、结构化的 。一个适用于大多数的网页并且能够尽可能降低人工干预成本的网 页抽取平台正是本项目的研究目标。 本项目采取将基于模板抽取和基于readability 的单页抽取算法结合起来，经测试， 抽取的正确率和召回率都达到了95% 以上。本人在本项目中主要负责基于子域的抽取模 板的构建以及基于模板的抽取。同时在本文中，主要 了模板的构建过程以及抽取的 过程。其中，模板的表现形式为可以准确定位 结构的Xpath ，通过单页抽取算法 对目标节点进行统计，进而得到基于子域的模板是模板构建部分的 思想。在抽取过 程中，对阀值的学习也经过系统严密的测试学习所得，具有较高的可行性。 通过上述工作，本文实现了对部分站点的 网站的网页 的抽取，最后提取出 网页的标题和正文，达到了 效果。 关键词：网页 抽取；Xpath; 正确率；召回率；模板 i 交通大学毕业设计（论文） 英 要 ABSTRACT ABSTRACT: With the rapid development and popularization of the Internet, information on the Internet has be e the largest source of information today. Actually, in the ever-expanding Internet information it is also filled w