《数据可视化技术》课程设计说明.docxVIP

PAGE 2 电子与信息工程学院 课程设计报告 （2020-2021学年第一学期） 课 程： 《数据可视化技术》 题 目： 京东电脑销售可视化分析 专业班级： 大数据181 姓 名： 刘 雲 学 号： 20180804050119 指导教师： 张海林 完成周数： 18周 2021年 1月6日 PAGE 2 目 录 设计目的 3 系统需求及功能 3 总体设计方案 3 爬虫源代码 4 1、爬取代码 4 2、数据转换 5 3、数据保存 6 4、创建数据库 6 可视化源代码 7 1、连接数据库 7 2、折线—柱状图 7 3、玫瑰图 8 4、柱状图 9 5、折线图 10 6、词云图 10 运行与测试 10 总结与收获 《京东电脑销售情况数据可视化分析》 一、设计目的 随着互联网的普及，网络购物随之而生并且因为它的快速便捷，网络购物成为了我们日常生活中新兴的消费方式并且随着网络的发展，网络购物的优点日益突出，对于消费者来说可以在家“逛商店”，订货不受时间、地点的限制；获得较大量的商品信息，可以买到当地没有的商品；网上支付较传统拿现金支付更加安全可避免现金丢失或遭到抢劫；从订货、买货到货物上门无需亲临现场既省时，又省力；由于网上商品省去租店面、招雇员及储存保管等一系列费用，总的来说其价格较一般商场的同类商品更物美价廉；可以保护个人隐私。而在如今的生活中女孩子日常的网络购物中总是喜欢购买香水等的美妆产品，此次数据分析的目的是把隐藏在一大批看来杂乱无章的数据中的信息集中和提炼出来，从而找出购买者购买香水的的内在规律。在实际应用中，分析结果可帮助我们做出判断，以便采取适当行动。 二、 系统的需求及其基本功能 在京东网页上面进行抓取各种品牌的香水销售情况的数据，爬取的商品条数不少于五千条记录，要爬取的数据字段包括c_id(条数)，btand（品牌名），dpname(店铺名),spname(商品名),price(价格),AfterCount(追评),CommentCount(评价数量),GoodCount(好评数) ,GeneralCount(中评数),PoorCount(差评数),GoodRate(好评率)并且将这些抓取到的数据保存到MySQL数据库中，为后面的数据可视化打好基础。 三、 总体设计方案（包括流程图） 1.首先确定好要爬取的网页（/list.html?cat=670,671,672），进入该网页分析网页内容； 2.使用MySQL数据库创建所需要的数据库及所需的表并在表中添加合适的字段（要求字段与爬取到的数据一一对应），为接下来爬取数据做好准备。 3.应用scrapy创建所需要的爬虫项目，利用python语句将所需的语句从网页上面爬取下来，对数据进行初步转换和清洗，然后存放到创建的数据库中； 4.将从网页爬取的数据从数据库中取出，通过sql语句进行筛选，将处理好的数据取出； 5.利用python的pyecharts库对筛选处理后的数据进行可视化操作，做出多种可视化图形； 四、 爬虫源代码 import scrapyimport refrom copy import deepcopy import scrapy import re from copy import deepcopy from jingdong.items import JingdongItem global i i=3 class JdSpider(scrapy.Spider): name = jd allowed_domains = [] start_urls = [/list.html?cat=670,671,672] def parse(self, response): li_list=response.xpath(//*[@id=J_goodsList]/ul/li) item=JingdongItem() for li in li_list: href=https:+li.xpath(./div/div[3]/a/@href).extract_first() item[dpname]=li.xpath(./div/div[5]/span/a/text()).extract_first() item[spname]=li.xpath(./div/div[3]/a/em/text(