数据可视化课程设计报告.pdfVIP

目录 一、目的3 二、系统需求及基本功能3 1、系统需求 3 2、基本功能3 三、总体设计方案3 1、总体设计 3 2、流程图3 四、详细设计4 五、项目源程序代码4 1、爬数据4 2、数据可视化6 六、运行测试结果截图11 七、总结与收获15 1 一、目的  将大量的、多维度的、不完全的、随机的数据，通过可视化提取出隐含 在其中的、未知的、潜在有用的信息和知识；  快速有效呈现数据的重要特征；  揭示数据的客观规律；  引导用户从可视化结果分析和推理出有效信息，提升信息认知的效率； 二、系统需求及基本功能 1、系统需求 本随着网络的迅速发展，互联网成为大量信息的载体，如何有效地提取并利 用这些信息成为一个巨大的挑战。本课设需要对大量的京东手机销售数据通过 spider进行爬取，用MySQL编译器进行数据的存储，用pyecharts进行详细的 数据分析，再将数据可视化，最后制作一个简单的网页。 2、基本功能 使用者可以直观清晰的了解当下京东手机销售的情况，对手机销售的价格， 销量，好评率等有一个基本的认识。 三、总体设计方案 1、总体设计 寻找网页、创建爬虫项目获数据、创建数据库保存数据、分析数据、数据可 视化、web设计界面。 2、流程图 2 四、详细设计 新建目标 （Project）：新建一个新的爬虫项目 明确目标 （Items）：明确你想要抓取的目标 制作爬虫 （Spider）：制作爬虫开始爬取网页 存储内容 （Pipeline）：设计管道存储将爬取的数据存入MySQL 内容 制作网页图：连接数据库，画html数据分析图 Web创建网页：使用web创建简单的网页 五、项目源程序代码 1、创建爬虫项目获取数据 Jdsprider： import scrapy,json,requests from ..items import commentItem class comment_spider(scrapy.Spider): name comment_spider allowed_domains [] ID 100010816812 # 可以根据商品的ID 来改变 start_urls [] for x in range(10): 3 url /comment/productPageComments.action?productId +str(ID)+score 0sortType 5page +str(x)+pageSize 10i sShadowSku 0fold 1 start_urls.append(url) # /comment/productPageComments.action?productId 100010816812score 0sortType 5page 0pageSize 10isShadowSk u 0fold 1 # /comment/productPageComments.action?callback fetchJSON_comment98productId 100010816812score 0sortType 5p age 5pageSize 10isShadowSku 0rid 0fold 1 # /comment/productPageComments.action?callback fetch