《网络应用开发》股票数据爬虫大作业报告.doc

PAGE 南 阳 理 工 学 院 《网络应用开发》大作业报告 股票数据爬虫 目录 1. 大作业目的…………………………………………………… 3 2. 大作业内容…………………………………………………… 3 需求分析……………………………………………………… 3 实现思路……………………………………………………… 3 详细实现……………………………………………………… 4 源代码………………………………………………………… 8 运行结果……………………………………………………… 16 大作业小结…………………………………………………… 18 2 - 2 - PAGE 1 - 正文小四、宋体，1.5倍行距 大作业目的 从网易股票爬取股票信息，包括每只股票的代码、名称、价格、涨跌幅、涨跌额 复习并深入理解爬虫相关知识，结合相关技术进行开发；掌握Python编程语言，熟悉相关数据保存方法 二、大作业内容 获取每只股票的代码、名称、价格、涨跌幅、涨跌额、最高值、最低值和成交额。 从网易股票爬取股票信息，包括每只股票的代码、名称、价格、涨跌幅、涨跌额； 根据成交额对获取到的股票进行排序； 将结果存储到csv文件中； 将结果存储到MySQL或MongoDB数据库里； 创新性设计与实现（如代理、异步协程、分布式爬虫等）。 三、需求分析 （1）从网易股票爬取股票信息，包括每只股票的代码、名称、价格、涨跌幅、涨跌额 使用爬虫的知识将需要的数据进行爬取,并保存在csv文件或mysql数据库。 根据成交额对获取到的股票进行排序 开发工具和环境 Python3.8.8 pycharm2021.3； Python内置模块random： 第三方模块 scrapy，numpy， csv， pymysql，pandas ，pyecharts 开发语言环境：python； 数据库服务器：mysql8.0； 实现思路 （1）分析页面。获取url （2）建立scrapy框架 Item封装数据，piplines存储数据 Middleware 进行一些拦截等操作，settings负责配置 （3）建立爬虫脚本文件 （4）制定起始的url,爬取想要爬取的网站 （5）对url进行请求发送 （6）数据解析，爬取数据 （7）进行全站爬取数据 （8）基于管道的数据持久化存储（存储到本地，） （9）按成交额排序 （10）数据可视化 五、详细实现 分析页面，获取url 右击，打开开发者工具，依次——— network—— XHR—— headers ——request URL 建立scrapy框架 发送请求 （4）数据解析，从中获取你需要的信息 （5）进行全站爬取 数据封装，提交管道 通过scrapy的item封装数据 之后提交给管道 数据存储 用scrapy 的piplines 进行数据存储，保存成csv文件 按成交额排序 数据可视化 我利用python的matploarts包，通过导入数据就可以将你想获取的数据显示出来，他也是可以导入多个文件，显示是不同数据进行可视化分析下面具体操作步骤： 1.导入数据 2.将数据从jiashu01.csv逐个提取出来通过for循环将股票名字和成交额 开始利用matploatshutu画图，因为数据太多只提取前24个数据进行展示，后续会数据会通过pycharts的API将所有数据动态显示。其中，操作步骤分为引用数据，配置属性，生成文件。调用方式有两种，一种链式调用，另一种单独调用，官方文档还是给出了说明“ \o pyecharts - A Python Echarts Plotting Library built with love. pyecharts - A Python Echarts Plotting Library built with love.”。代码如下： 可视化股票名字和成交额 可视化股票价格的最大值和最小值 源代码 gp.py：爬虫脚本文件，数据爬取主要在此 首先从已知的URL网址中获取股票代码一览表这个网页的Html文件，利用bs4解析网页，取出我们要爬取的股票代码信息，将其储存在一个列表中。根据列表中的信息，我们可以直接获得这些股票个股首页的URL，再重复之前对URL的操作，获取个股首页里面的信息，在整理后统一储存在jiason.csv中。 pipelines.py 按成交额排序.py 数据可视化.py 上述数据中，name只需提取出中文即可。Ietms.py中的标签应去除中间多余的四个主力流入等字段，将这四个字段的信息转移到这些字段所对应的子字段上。Jiason.csv中的数据一共包含了五天的信