毕业设计（论文）-基于Web的行业新闻采集系统.doc

景德镇陶瓷学院 论文（设计）题目：学 号： 姓 名： 院 (系)： 信息工程学院 专 业： 　 完成日期： 指导老师： 分类号 学校代码 UDC 密级 学号 景德镇陶瓷学院 信息工程学院毕业论文 指导老师： 景德镇陶瓷学院 信息工程学院 申请学位级别 　　 专业名称 论文提交日期 20年月日 论文答辩日期 20年月日 学位授予单位和日期 景德镇陶瓷学院 答辩委员会主席： 论文评阅人： 20年月摘 要 随着互联网的飞速发展，信息时代的到来，面对网络上泛滥的新闻信息，而采集和过滤一些有用的信息对于我们来说是十分重要的。行业新闻采集系统是将非结构化的新闻文章从多个新闻来源网页中抽取出来保存到结构化的数据库中的过程。 尤其是对于大型门户网站，比如新浪，腾讯他们每天的网站信息都更新，而且范围很广，全国各地，甚至全球发生的信息都能每天看到更新，而他们正是利用采集系统从各大媒体网站，外国网站采集过来的。 因此，信息的采集至关重要。一般的网站新闻发布平台都是采用人工输入信息，对于中小型网站这样的工作量很算可以，但是网站大了，信息就很庞大了，像那种分类信息网，更新的工作就变得很复杂，如果有专门的类似搜索引擎能检索采集到最新的行业信息然后发布在自己的网站上，因此建立专门的行业新闻采集系统，从相关行业网站采集有效的新闻信息，比如采集陶瓷行业新闻，从各大陶瓷网站采集有关陶瓷关键字的新闻列表，然后帅选入库，可以减少很多工作量，而且可以有效的进行修改和过滤工作。目前比较有名的采集系统有火车头，视采新闻采集器[2]、万能新闻采集器、新浪新闻采集器。 Abstract With the rapid development of the Internet, the advent of the information age, face the flood of news information network, and the collection and filter some useful information for us, it is very important. News gathering system is will unstructured news articles from multiple sources of news page extracted saved to the structural database in process. Especially for large web portal, such as sina, tencent every day they website information updates, and the range is very wide, all over the country, and even the global happened to see update information every day, and they are the use of acquisition system from the major media web site, foreign web site collected. Therefore, the collection of the information is very important. The general web news release platform are using artificial input information, for small and medium website such workload is calculate can, but the site is big, the information is very big, like the classification and information network, update the work is very complex, if have special similar search engine can retrieve collection to the latest information and then released on his website,