基于DOM树的web新闻正文抽取技术的研究与实现-管理科学与工程专业论文.docxVIP

AbStrectABSTRACT AbStrect ABSTRACT Recently，with the development of Internet，the web has been the data repository． Web news is an important source of people’S access to information．However，the information almost CO．exists with the noise．In order to obtain the relevant information from the repository,many researches have been made．The typical functions of web news extraction iS to locate the useful COntent text and filter the noises．In this paperwe integrated the two functions to extract the boy of web news． As the web page’S own characteristics，each pages can transformed into DOM (Document Object Model)tree．Therefore，the operation of web page can be translated into the action on the tree．STM(Simple Tree Matching)algorithm is a traditional method that Call calculate the similarity between two trees．In this paper，we improve the STM algorithm to cluster the pages which share common extracting path．In this paperweb page block and pages of information measure are taken to automatically extract location of main text passages．The approach can apply to structural web pages． Moreover,We developed all extracting system by using our algorithm．Expedments are done over several important on-line news sites and experimental results on our extracting system show that the approach call achieve higher extraction accuracy than RTDM algorithm． Key words：web pages，simple tree matching，DOM tree，common extracting path ¨ 中国科学技术大学学位论文原创性声明本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明。 作者签名： 签字日期： 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人 提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 口公开 口保密(——年) 作者签名： 导师签名： 皂之季 签字日期： 签字日期： 第1章绪论第1章绪论 第1章绪论 第1章绪论 1．1 本文的选题背景 随着互联网的发展，互联网的信息量成几何级数增长。人们获取新闻的主要 方式自然也由传统报纸转变为网络或者手机等工具。只要打开相关网站的相关网 页就可以阅读相关的内容。但是网页上展示给人们的信息十分的繁杂。除了人们 想阅