用python分析万条淘宝数据，终于搞清楚了我的交易行为.docxVIP

用python分析1225万条淘宝数据，最终搞清楚了我的买卖行为 1）项目背景 ??网购已经成为人们生活不行或缺的一部分，本次项目基于淘宝app平台数据，通过相关目标对用户行为进行分析，从而探究用户相关行为模式。 2）数据和字段说明 ??本文使用的数据集包含了2021.11.18到2021.12.18之间，淘宝App移动端一个月内的用户行为数据。该数据记录，共6列数据。 user_id：用户身份 item_id：商品id behavior_type：用户行为类型(包括点击、保藏、加入购物车、领取四种行为，分别用数字1、2、3、4表示) user_geohash：地理位置 item_category：品类id(商品所属的分类) time：用户行为发生的时间 3）分析的维度 流量目标分析 用户行为分析 漏斗流失分析 用户价值RFM分析 4）电商常用分析方法 5）什么是漏斗分析？ “漏斗分析”是一套流程式数据分析，它能够科学反映用户行为形态，以及从起点到起点各阶段用户转化率情况的一种重要分析模型。 2、导入相关库 import numpy as npimport pandas as pdimport matplotlib as mplimport matplotlib.pyplot as pltimport seaborn as snsimport warnings# 设置为seaborn绘图风格sns.set(style=darkgrid,font_scale=1.5)# 用来显示中文标签mpl.rcParams[font.family] = SimHei# 用来显示负号mpl.rcParams[axes.unicode_minus] = False# 有时候运转代码时会有很多warning输出，像提示新版本之类的，假如不想这些乱糟糟的输出，可以使用如下代码warnings.filterwarnings(ignore) 3、数据预览、数据预处理 # 留意：str是为了将全部的字段都读成字符串df = pd.read_csv(taobao.csv,dtype=str)df.shapedf.info()df.sample(5) 结果如下： 1）计算缺失率 # 由于地理位置的缺失值太多，我们也没方法填充，因而先删除这一列df.apply(lambda x:sum(x.isnull())/len(x),axis=0) 结果如下： 2）删除地理位置这一列 df.drop([user_geohash],axis=1,inplace=True) 3）处理时间time列，将该列拆分为date日期列，和hour小时列 df[date] = df.time.str[0:-3]df[hour] = df.time.str[-2:]df.sample(5) 结果如下： 4）将time、date列都变为标准日期格式，将hour列变为int格式 df[date] = pd.to_datetime(df[date])df[time] = pd.to_datetime(df[time])df[hour] = df[hour].astype(int)df.dtypes 结果如下： 5）将数据依据time列，升序陈列 df.sort_values(by=time,ascending=True,inplace=True)df.head() 解果如下： 6）删除原始索引，重重生成新的索引 df.reset_index(drop=True,inplace=True)df.head() 结果如下： 学问点：留意reset_index()中传入参数drop的这种用法。 7）使用describe()函数查看数据的分布，这里使用了一个include参数，留意一下 # 查看全部object字符串类型的数据分布情况df.describe(include=[object])# describe()默认只会统计数值型变量的数据分布情况。df.describe()# 查看全部数据类型的数据分布情况df.describe(include=all) 结果如下： 学问点：留意describe()函数中传入参数include的用法。 8）对时间数据做一个概览 df[date].unique() 结果如下： 4、模型构建 1）流量目标的处理 pv：指的是页面总扫瞄量。每个用户每刷新一次网页，就会添加一次pv。 uv：指的是独立访客数。一台电脑一个ip也就是一个独立访客。实际分析中，我们都是认为每个人只使用一台电脑，即每一个独立访客代表一个用户。 ① 总计pv和uv total_pv = df[user_id].