网页正文提取系统的详细设计与实现毕业设计论文.doc

1 - 目录 TOC \o 1-3 \h \z \u 摘 要 h - 3 - 1.绪论 h - 4 - 1.1课题背景 h - 4 - 1.1.1搜索引擎的历史 h - 4 - 1.1.2搜索引擎的发展方向 h - 5 - 1.1.3搜索引擎的最新技术发展 h - 6 - 1.2课题来源、目的和意义 h - 8 - 1.3 主要研究内容 h - 9 - 2.网页正文提取系统的详细设计与实现 h - 10 - 2.1 基本原理 h - 10 - 2.2 网页预处理系统 h - 11 - 2.2.1 HTML标签规范化 h - 11 - 2.2.1 建立网页的DOM树结构 h - 14 - 2.3 核心算法基本思想 h - 15 - 2.4 本章小结 h - 19 - 结 论 h - 22 - 参考文献 h - 23 - 毕业设计（论文）原创性声明和使用授权说明 原创性声明 本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得 及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。 作 者 签 名：　　 　 　　日　 期：　　 　 　　  指导教师签名：　　 　 　　 日　　期：　　 　 　　 使用授权说明 本人完全了解 大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。 作者签名：　　 　 　　 日　 期：　　 　 　　  学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权　　 　 　大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 涉密论文按学校规定处理。 作者签名： 日期： 年 月 日 导师签名： 日期： 年 月 日 摘 要 随着互联网信息技术的不断发展，互联网的信息量也日益膨胀。近年来，全球因特网上的信息数据正以爆炸式的速度在增长。据IDC报告称，从现在到2010年，预计信息量将以每年57%的速度增长，在2010年信息总量将达到988EB （1EB=10亿GB），约为2006年的6倍，相当于有史以来所有书籍数字信息量的1800万倍。面对如此巨大的互联网信息库，如何快速、有效、经济地检索到某个主题的所有相关信息就成了当前一个十分热门的研究课题。这时，搜索引擎的出现无疑给人们带来了极大的方便。然而，随着互联网信息的不断巨增和搜索引擎所覆盖网页范围的不断扩大，人们发现，即使是借助搜索引擎的帮助，他们也越来越难以有效和准确的找到自己所需要的信息资源。 本文在研究了现有的搜索引擎的解决方案后，通过采用一种统计网页特征的方法，将中文网页中的正文部分抽取出来。该方法首先将网页表示成基于XML的DOM树形式，利用统计的节点信息从树中过滤掉噪音数据节点，最后再选取正文节点。该方法相比传统的基于包装器的抽取方法，具有简单，实用的特点，试验结果表明，该抽取方法准确率达到90％以上，具有很好的实用价值。 关键词　中文信息处理；垂直搜索；信息抽取；正文提取 1.绪论 本章主要从介绍垂直搜索引擎的与海量搜索的区别，国内外该方向的研究情况，课题来源意义以及论文所要研究的主要内容来描述课题内容。 1.1课题背景 1.1.1搜索引擎的历史 最早现代意义上的搜索引擎出现于1994年7月。当时Michael Mauldin将John Leavitt的蜘蛛程序接入到其索引程序中，创建了大家现在熟知的Lycos。同年4月，斯坦福（Stanford）大学的两名博士