基于主题的教育信息定向采集系统-软件工程专业论文.docxVIP

工程硕￡学位论文 工程硕￡学位论文 基于E题的教育 摘要 随着Internet上信息的快速增长，各种与Web有关的应用应运而生，其中基于Web 的信息采集技术是当今研究的热点问题。然而，随着人们对各项信息服务要求越来越 高，传统的基于整个Web的信息采集也越来越力不从心，它无法及时地采集到足够的 Web信息，也不能满足人们R益增长的个性化需求。相比之下，主题Web信息采集技术 只覆盖与特定主题相关的Web区域，这样它采集的内容可以更深，搜索的周期可以更 短，因此能满足用户对快速、准确的获取信息资源的要求。本文围绕主题Web信息采 集技术展开了具体的理论研究和实验工作，并设计和实现了基于主题的教育信息定向 采集系统。 本文首先综述了国内外基于主题的信息采集领域的发展情况，分析了主题Web信 息采集的原理和主题页面在Web上的分布规律，研究了主题相关性判别算法，网页去 重以及主题词典选择，其中重点研究了URL与主题的相关性判别算法。 其次，提出一个基于主题的教育信息定向采集系统模型。该系统考虑了页面主题 相关性反馈影响，采用Web结构和网页文本内容相结合的一种URL与主题的相关性判别 算法，准确地预NURL的主题相关度；网页根据去重对象的不同，采用一种网页三级 去重机制，可以有效地消除重复网页。 最后，设计并实现了基于主题教育信息定向采集系统，能够有效地采集指定URL 种子集的主题页