基于scrapy框架分布式算法的网络爬虫的研究与应用.docxVIP

PAGE 1 基于scrapy框架分布式算法的网络爬虫的研究与应用 摘 要 自从步入信息化时代，人类不再单纯的使用实体纸张等方式记录信息，而更多选择采用计算机存储器保存信息。在其后的飞速的发展中，人类的生活已经离不开社交网络、云计算等技术，这样就不可避免的使数据在医疗、商业、互联网等领域不断累加，数据的所产生的爆炸性增长将人们的推入了大数据时代。但是大数据只是一个术语，它描述了大量的数据（无论是结构化的还是非结构化）。不过这些数据算不上重要的数据量，我们需要通过数据分析组织出重要数据，然后通过大数据的分析结果获得更好的决策和战略业务动向。对于大数据的作用有近乎实时地确定故障以及问题所产