全网首套PySpark与Spark综合案例：零售销售数据分析与开发实战.pdfVIP

需求分析

某公司是做零售相关业务,旗下各类收银机.

目前公司的收银机已经在铺开,在各个省份均有使用.

机器是联网的,每一次使用都会将售卖商品数据上传到公司.

现在想对省份维度的销售情况进行统计分析

需求

4个需求需开发

1.销售指标每个省份的销售额统计

2.TOP3销售省份中,有多少家日均销售额1000+

3.TOP3省份中各个省份的平均单单价

4.TOP3省份中,各个省份的支付类型比例

2个操作需处理

1.将需求结果写出到mysql

2.将数据写入到SparkOnHive中

4个需求中2个较简单,2个较复杂

比较合适对SparkSQL的内容进行综合训练

数据格式

常用字段解析:

•storeDistrict所在行政区

•storeProvince所在省份

•storeIDID

•storeName名称

•dateTS订单日期

•orderID订单ID

•receivable收款金额

•payType付款类型

尽管字段较多,我们只需要用到上述5个红色字段即可

数据在课程资料中有所,文件名:mini.json

现在进入开发吧