数据据可视化 (爬取京东手机销售数据 ).docxVIP

PAGE 13 目录 一、目的3 二、系统需求及基本功能3 1、系统需求3 2、基本功能3 三、总体设计方案3 1、总体设计3 2、流程图3 四、详细设计4 五、项目源程序代码4 1、爬数据4 2、数据可视化6 六、运行测试结果截图11 七、总结与收获15  一、目的 将大量的、多维度的、不完全的、随机的数据，通过可视化提取出隐含在其中的、未知的、潜在有用的信息和知识； 快速有效呈现数据的重要特征； 揭示数据的客观规律； 引导用户从可视化结果分析和推理出有效信息，提升信息认知的效率； 二、系统需求及基本功能 1、系统需求 本随着网络的迅速发展，互联网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。本课设需要对大量的京东手机销售数据通过spider进行爬取，用MySQL编译器进行数据的存储，用pyecharts进行详细的数据分析，再将数据可视化，最后制作一个简单的网页。 2、基本功能 使用者可以直观清晰的了解当下京东手机销售的情况，对手机销售的价格，销量，好评率等有一个基本的认识。 三、总体设计方案 1、总体设计 寻找网页、创建爬虫项目获数据、创建数据库保存数据、分析数据、数据可视化、web设计界面。 2、流程图 四、详细设计 新建目标（Project）：新建一个新的爬虫项目 明确目标（Items）：明确你想要抓取的目标 制作爬虫（Spider）：制作爬虫开始爬取网页 存储内容（Pipeline）：设计管道存储将爬取的数据存入MySQL内容 制作网页图：连接数据库，画html数据分析图 Web创建网页：使用web创建简单的网页 五、项目源程序代码 1、创建爬虫项目获取数据 Jdsprider： import scrapy import re from copy import deepcopy from jdphone.items import JdphoneItem global i i=3 class JdSpider(scrapy.Spider): name = jd allowed_domains = [] start_urls = [/list.html?cat=9987,653,655] def parse(self, response): li_list=response.xpath(//*[@id=J_goodsList]/ul/li) item=JdphoneItem() for li in li_list: href=https:+li.xpath(./div/div[4]/a/@href).extract_first() item[dpname]=li.xpath(./div/div[7]/span/a/text()).extract_first() item[spname]=li.xpath(./div/div[4]/a/em/text()).extract_first() item[price]=li.xpath(./div/div[3]/strong/i/text()).extract_first() item[smemory] = li.xpath(./div/div[4]/span/span[1]/b/text()).extract_first() item[size] = li.xpath(./div/div[4]/span/span[2]/b/text()).extract_first() #屏幕尺寸 if len(href)70: id=href.split(/)[-1].replace(.html,) xhref=/comment/productCommentSummaries.action?referenceIds=+id+callback=jQuery1155102_=1609314427981%27 yield scrapy.Request(xhref,callback=self.parse_comment,meta={item:deepcopy(item),href:href}) #翻页 /list.html?cat=9987%2C653%2C655page=5s=118click=0 /list.html?cat=670%2C671%2C672page=3