基于Python和NoSQL的中超新闻的爬取与分析.docx

PAGE9

析

摘要

随着互联网的兴起,人们对网络的使用越来越广泛,网上的数据量非常的繁多，因此在网上上查找有用信息是一项艰巨的任务。我们通过搜索引擎可以用来完成这项任务，但是仍然受网上繁杂信息的影响。不能很好的解决了查询问题。

我们可以创建一个网络爬虫,根据用户想要的信息的关键字来进行搜索,通过分析页面源码提取URL地址,把数据爬下来,对数据进行分析和清洗,使数据变得更直观,方便用户勘察,有效的解决了查询困难问题。

检索完信息分析出数据后要连接数据库,往往索引大量的数据,信息量非常巨大,由于NoSQL数据库具有高度可伸缩性的优势，因此随着NoSQL数据库的日益普及