Web页面分块技术的研究与实现-计算机技术专业论文.docxVIP

独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本论文属于 保密□， 在 年解密后适用本授权书。 不保密□。 （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 华 华 中 科 技 大 学 硕 士 学 位 论 文 I I 摘 要 因特网技术的发展使得 Web 成为当前最大的信息来源。但是 Web 在给人们提供 丰富信息的同时，又使人们在有效找到自己需要的信息方面面临巨大的挑战。大多 数信息检索系统将页面视为最小的不可再分的单元，然而一个页面中往往包含多个 并不紧密相关的主题，还含有导航、装饰、联系方式等零碎信息，因此用整个页面 来表示一个单一的语义有时候并不合适。另一方面，随着通信技术的发展，手持移 动设备(PDA、手机、智能手机等)正在快速发展。移动设备和因特网的结合是最具 潜力的发展方向，如何在手持移动设备的小屏幕上显示合适的网页，也是很有价值 的一个议题。Web 页面分块技术，为上述问题提供了一种解决方案。 论文首先对现有的 Web 页面分块技术进行了详细分析，总结了各类技术在实际 应用中的优势和不足之处。在前人工作的基础上，提出并实现了一种基于多线索的 Web 页面分块方法。该方法考虑到了实际网页设计常用的布局模式，结合了页面视 觉信息和页面对应标签树中的结构信息，最后生成的分块既符合人分析页面的逻辑， 也保留并体现了网页的整体结构，还为后续子块信息的提取、生成提供了方便。 实验结果表明新的方法能对常规 Web 页面进行有效的分块，并弥补了现有的一 些页面分块技术在实际应用中的不足，结合了结构信息和视觉信息线索，在算法的 效果和效率间找到了平衡。进一步，在面向移动设备的 Web 页面转换应用中，新方 法中产生的符合常规页面布局的分块提供了额外的重要信息，有较好的应用价值。 关键词：网页分块；HTML DOM 树；视觉线索；标签；布局模式；字符串树 II II Abstract With the development of the Internet, Web has become the largest information source. Yet, Web makes people face a huge challenge in looking for useful information efficiently, while offering a wealth of information. Most information retrieval systems on the Web consider web pages as the smallest and undividable units. However, a page usually contains multiple topics that arent much relevant to each other, and various contents such as navigation, decoration, contact information, etc. So a web page as a whole may not be appropriate to represent a single semantic. On the other hand, with the development of communication technology, handhold mobile devices, such as PDAs, smartphones, improve rapidly. How to display web pages on small screens of handhold mobile devices properly is another valuable topic. Web page segmentation offers a solution to those problems.