大学毕业论文—主题式新闻搜索系统的设计新闻页面采集模块（论文）设计正稿.docVIP

毕业设计（论文）题目名称：主题式新闻搜索系统的设计—新闻页面采集模块 院系名称：计算机学院 班 级：软件115 学 号：4515 学生姓名：杜昕佳 指导教师：程传鹏2015 年 5 月主题式新闻搜索系统的设计—新闻页面采集模块 Design of thematic news search system—News page collection module院系名称：计算机学院 班 级：软件115 学 号：4515 学生姓名：杜昕佳 指导教师：程传鹏2015年 5 月 摘要 随着互联网使用的广泛性和不断增加的实用性，以及人们对自己想要的信息的渴望，主题式新闻搜索系统方法显得越来越重要。主题就是一种个性，一种时尚。用户怎么才能迅速的，准确的找到自己所需要的信息，就显得异常重要。同时给用户最有效的最准确的信息，也是每一个开发者的追求和目标。随着岁月的流失，这个情况也演变的越来越迫切。当然这也是一个十分难得时机与机遇，谁能抓住这个时机，谁就有可能成为下一个的互联网巨擘，引领一个网络时代。 本文主要研究新闻是如何采集的，在从如此众多的繁杂的网络上，怎样收取的。通过广度遍历的算法，将URL采集到本地之中。利用hash表，将下载的URL一一的对比，除去重复的。通过转换将获取的相对路径链接，转化为绝对路径的链接。然后再通过获取的绝对路径链接获得网页，然后截取标题