基于DOM模型的网页净化系统设计与实现-软件工程专业论文.docxVIP

Design Design and implementation of DOM—based noise reduction system by LU0 Limin B．E．(Hunan University)2005 A thesis submitted in partial satisfaction of the Requirements for the degree of Master of Engineering ln Software Engineering in the Graduate School of Hunan University Supervisor Professor LIN Yaping Sentior Engineer PENG Yijiang June，2010 - 湖南大 湖南大 学位论文原创 本人郑重声明：所呈交的论文是本人 取得的研究成果。除了文中特别加以标注 。一=f≯q箍。捧p萨》蕊0·孝、、≯。≮≮岔备-， 何其他个人或集体己经发表或撰写的成果 献的个人和集体，均已在文中以明确方式 法律后果由本人承担。 作者签名： 影象叙 学位论文版权使 本学位论文作者完全了解学校有关保 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇 编本学位论文。 本学位论文属于 l、保密口，在 年解密后适用本授权书。 2、不保密曰。 (请在以上相应方框内打“√”) 作者签名：哆鸯色数 日期：≯咖年7月，日 导师签名：枷事 吼钾年7月夕日 、钧／吐 J1·1 At w 、了 4·  k hJF 3 4 7 f z WEe- ，?. ， . Jb 手ψ hm· MW 锣54 飞飞 、 ， K. Aa 、吃tT uf A a 、 吃 t FF ，? 基于DOM模型的网页净化系统设计与实现摘 基于DOM模型的网页净化系统设计与实现 摘 要 随着Internet技术的飞速发展，互联网上的信息成几何级数地增长。网络给 人们提供了大量信息的同时，也给人们快速准确的获取信息带来了挑战。为了能 有效地利用网页资源，就需要对这些资源进行预处理。预处理关键的问题之一是 去除掉网页中的噪音数据，即把与网页内容无关的广告、导航条以及版权等信息 尽量去除，以得到所需要的网页主题信息，也即网页净化。 本文首先介绍了网页净化的方法和技术。其中网页净化的方法包括基于网页 结构的方法、基于模版的方法和基于可视化信息的方法等。网页净化的技术则主 要有三个方面：信息提取、网页分块和网页适应。 接着，本文介绍了可扩展超文本标记语言和文档对象模型的概念及其结构。 在此基础上，本文提出了一种基于网页布局的文档对象模型(WLB DOM模型)， 该模型的建立包括预处理、标签过滤和模型建立等过程，文中详细介绍了该模型 的结构和构建方法。 然后，本文提出了一种基于WLB DOM模型的网页净化算法，这是一种基于 网页结构的方法和基于可视化信息的方法相结合的算法。该算法认为网页中同层 布局空间最大的块即主题信息所在块。为了验证本算法的正确性和有效性，对来 自CWT200G测试集的部分语料进行了实验，实验结果表明该算法有较高的准确 率。 最后，本文在提出的模型和算法基础上，在Microsoft Visual Studio 2008开发 平台下，用C{fj}语言实现了一个基于WLB DOM模型的网页净化系统原型。 —一≯■％汹瓷器．’扎礼≯讼嚣母蛀玑地滞≮心‰o簪事∞帮膏藩扎≯∥多～势一圣冷毒毒j}=爹。≥0∥：．．o；气，．．，≯o．≥t 关键词：网页净化；网页噪音；DOM；网页分块 ：： ％： 玉 酱 毒 每 lI 应-可飞玲 在 如rm 撞， 咬 1 r·♂ 。， . hh4旬 她们护了·布 -， . · 、-hhA萨74哑APG作吧?kffdc 也亏轧y 卢:元 -，， · ， .， ‘ ‘ · :、‘吨lh ， ， 马Jtdtn z 1e t-Jγe : 、‘ 吨l  Mg J ? : l ‘;、， ， ·， ‘ ; 、 吮歹、- 吮歹 、 e - fMH ，， 工程硕十学位论文 工程硕十学位论文 ===!!=!!=!==!!!====!!==!=!========!!!!====!!!==!!==!!!!=!!=!!=!=!!==!=!==!!!!!!!==!!!!!=2=2 Abstract With the rapid development of the Internet techniques，the information