Python爬虫及数据分析.docx

Python爬虫及数据分析 摘要 当下，我们进入了大数据与人工智能的新时代，海量的数据则成为其发展的基石和前提。很多情况下我们从互联网上获取二手数据，但是其数据量级已经远远超过人工能够处理的水平，因此通过计算机程序来进行数据的收集就显得十分重要，此计算机程序即网络爬虫。得到数据后，需要研究出数据中暗含的规律，得到我们感兴趣的知识，形成有用的结论，进而帮助管理层作出决策因此需要进行数据分析。 针对以上问题，本文讨论了爬虫的原理及相关技术，提出一种应用场景，以“新浪财经”为数据来源和爬取对象，应用网络爬虫技术中的基于python环境的Scrapy框架设计一个爬虫程序，得到某一支股票的历史数据