基于Jsoup的通用网页采集系统的设计与实现-软件工程专业论文.docxVIP

分类号 密级 UDC 注 1 Jsoup  （题名和副题名） （作者姓名） 指导教师 （姓名、职称、单位名称） 申请学位级别 专业学位类别 工程领域名称 提交论文日期 2015.9 论文答辩日期 2015.11 学位授予单位和日期 2015 12 答辩委员会主席 评阅人 注 1：注明《国际十进分类法 UDC》的类号。 Design and Develop A Common HTML Content Parse System based on Jsoup A MasterThesis Submitted to University of Electronic Science and Technology of China Major: Master of Engineering Author: MaoKai Supervisor: Associate Professor Yuan Yuan School: School of Automation Engineering 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及 取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电 子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工 作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示 谢意。 作者签名： 日期： 年 月 日 本学位论文作者完全了解电子科技大学有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或 部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 作者签名： 导师签名： 日期： 年 月 日 摘 要 随着计算机网络的迅速发展,Internet 已经成为一个巨大的信息资源库。在 WEB 海 量信息处理的背景下，WEB 智能信息检索、文档自动摘要、舆情分析等等需求应运而 生。这些需求都是对互联网中海量的 WEB 页面的采集及分析的过程。通常情况下,这 类技术都是通过网络爬虫来从网络上抓取原始网页的信息,而原始信息中除了用户所 感兴趣的正文信息之外,还通常会包含有各种网络噪音数据,比如广告链接、标签信息、 导航链接、评论等等。这些噪音数据的存在,极大地影响了网络检索的效率,也降低了 人们的阅读效率。正确、高效地在半结构化、异构性强的 HTML 源文件中提取到文章 正文，在基于互联网的数据挖掘、信息检索等领域具有着重要的意义。 本文描述了基于停止词以及链接稠密度的父节点加权比值算法通用的网页正文 提取系统的设计与实现。该算法基于 Jsoup 文档解析技术，通过对停止词分析、链接 稠密度分析技术对网页进行二次信息节点筛选后，采用父节点加权比值方法得到最优 内容子树。 本系统采用 B/S（浏览器/服务器）架构，以 Intellij Idea 为前端界面和后端服务开 发工具，以 H2 SQL 作为后台数据库管理系统，设计出了一套符合网页正文提取需求 的系统。该系统的核心模块为：文档格式化处理模块、文档裁剪降噪模块、正文节点 判断模块、正文格式化输出模块。 通过测试发现，本系统具有对各种 HTML 布局的新闻正文提取任务有很高的精确 度。 关键词：网页正文提取,父节点加权比值,分词技术,链接稠密度,B/S 架构 I ABSTRACT With the advanced development of Internet technology and information, the quantity of webpage increases rapidly.Under this background,WEB intelligent information retrieval, automatic document summary, public opinion analysis come out. These technology basicly require the acquisition and analysis of massive Internet WEB page. Normally these technologies use web crawler to get original pages from the network information. These original pages they get not only contain information which the user interested with