《数据可视化技术》课程设计(1).docxVIP

附件二：课程设计报告要求 电子与信息工程学院 课程设计报告 （2020-2021学年第一学期） 课 程： 《数据可视化技术》 题 目： 数据可视化 专业班级： 大数据181 组 别： 16 小组成员： 李天福 指导教师： 张海林 完成周数： 17周 2020年 12月 目录 (1)设计目的 (2)使用工具 (3)项目功能 (4)项目设计过程 (5)程序源代码 (6)运行结果 (7)总结与收获 设计目的 (1)有效呈现数据的重要特征； (2)揭示数据的客观规律； (3)将大量的、多维度的、不完全的、随机的数据，通过可视化提取出隐含在其中的、未知的、潜在有用的信息和知识； (4)引导用户从可视化结果分析和推理出有效信息，提升信息认知的效率； (5)美学形式与功能齐头并进，有效传达与沟通信息。 三．使用工具 (1)编程语言：Python、JavaScript (2)代码编辑器：PyCharm、scrapy爬虫、mysql、matplotlib、pyecharts 、Dreamweaver 四．项目功能 (1)分析万表网中累计销售超过12000的店铺信息并用条形图展示 (2)分析万表网中售价超过100000的手表的信息并用饼状图展示 (3)分析万表网中售价超过100000的手表的销售排行前15名并用折线图展示 (4)分析万表网中售价超过100000的手表的销售排行前15名并用柱状图展示 (5)分析万表网中售价超过100000的手表的销售排行前15名用柱状图和折线图的组合图展示 (6)分析万表网中累计销售超过12000的店铺信息并用词云图展示 (7)将所有得到的结果图使用网页形式呈现 五.项目设计过程 (1)通过scrapy爬虫框架爬取万表网（/list-96-p10.html）所有的商品名称，商品价格，商品销量，商品所在店铺，店铺的累计销售量。 (2)通过mysql数据库新建一个数据库，并新建解决一个表。 (3)将用scrapy爬取的数据存放入新建的数据库中 (4)通过pyecharts 将存入数据库的数据经过一系列的处理转化为可 直观看到的图表形式 (5)通过Dreamweaver将所有得到的可视化图标制作成网页 六．程序源代码 (1)用scrapy爬虫框架爬取万表网数据代码 import scrapy from prjwanbiaospider.items import PrjwanbiaospiderItem import time class WanbiaospiderSpider(scrapy.Spider): name = wanbiaospider allowed_domains = [] start_urls = [/list-96-p10.html] global i i = 1 def parse(self, response): global i str_price=response.xpath(//*[@id=s_goods_list]/ul/li/div/p[1]/span[2]/text()).extract() str_product_number=response.xpath(//*[@id=s_goods_list]/ul/li/div/div[1]/em/text()).extract() urls = response.xpath(//*[@id=s_goods_list]/ul/li/div/a[1]/@href).extract() for nurl,s_price,s_pnum in zip(urls, str_price,str_product_number): time.sleep(5) price=int(s_price[1:]) product_number=int(s_pnum[2:]) print(nurl) yield scrapy.Request(nurl,meta={pe:price,pn:product_n