大数据研发：Spark SQL与Spark Core在日志分析中应用.pdfVIP

1.背景

2.需求

计算每天点击、下单、支付次数前十的品类

3.日志格式

date:日期2018‑03‑12

_

userid:用户idsession

__

id:会话idpageid:页面

idaction:时间city_

id:用户所在城市search_

keywords:搜索

__

【clickcategoryid】:

用户点击的品类idclick_

_

productid:用户点击的商

__

品id【ordercategory

id】:用户下单的品类ID

__

orderproductid:用户下

单的商品id:【pay_

_

categoryid】:用户支付的

__

品类idpayproductid:

1.背景

2.需求

计算每天点击，下单，支付次数前十的品类

3.日志格式

date:

日期2018-03-12

user_id:

用户id

session_id:

会话id

page_id:

页面id

action:

的时间

city_id:

该用户所在的城市

search_keywords:

搜索关键字

【click_category_id】:

用户点击品类的id

click_product_id:

用户点击商品的id

【order_category_id】:

用户下单的品类ID

order_product_id:

用户下单的商品id:

【pay_category_id】:

用户支付的品类id

pay_product_id:

麻辣小小龙虾|火锅鱼,

1,1,1^A2,1^A2,1^A2,1^A2

2020‑03‑11,user1234,XX55YYYYY,1,1520769809972,1,小小龙虾|火锅鱼,1,1,1^

A2^A3,1^A2^A3,1^A2^A3,1^A2^A3

2020‑03‑11,user1234,XX55YYYYY,1,1520769809973,1,小小龙虾|火锅鱼,2,1,1^

A2^A3,1^A2^A3,1^A3,1^A2^A3

2020‑03‑11,user1234,XX55YYYYY,1,1520769809974,1,小小龙虾|火锅鱼,2,1,1^

A2^A3,1^A2^A3,1^A2^A3,1^A2^A3

2020‑03‑11,user1234,XX55YYYYY,1,1520769809975,1,小小龙虾|火锅鱼,4,1,1^

A2^A3,1^A2^A3,1^A2^A3^A4,1^A2^A3

5.结果

5.结果

category_id=1|click_category_count=2|order_category_count=5|pay_category_count

=5

category_id=2|click_category_count=2|order_category_count=5|pay_category_count

=4

category_id=4|click_category_count=1|order_category_c