阿里天池竞赛项目——二手车交易价格预测.pdfVIP

阿⾥天池竞赛项⽬——⼆⼿车交易价格预测 最近最近做了个阿⾥天池的竞赛项⽬，有关⼆⼿车交易价格预测。⼀般的数据挖掘项⽬包括探索性数据分析、特征⼯程、模型选择、模型调 优和模型融合。对数据挖掘过程不熟悉的同学可以参考，⽐较详细介绍了机器学习模型构造的全流程。 ⼀、探索性数据分析 探索性数据分析的⽬的，就是先对数据有个整体的把握，熟悉数据，为接下来的特征⼯程和 模型构造打下基础。探索性数据分析⼀般会从 数据类型、变量的数值分布、缺失值情况和变量之间的相关关系来分析数据。⾸先，我们导⼊数据，数据是官⽅给定的，分为训练集和测试 集两个部分。 导⼊需要的包 # import pandas as pd import numpy as np import matplotlib import matplotlib.pyplot as plt import seaborn as sns from operator import itemgetter import datetime %matplotlib inline 导⼊数据 # df_train_data=pd.read_csv(used_car_traincsv,sep= ) df_test_data=pd.read_csv(used_car_testBcsv,sep= ) print(df_train_data.shape) print(df_test_data.shape) 训练集包含150000条数据，31个变量；测试集包含50000条数据，30个变量（缺少交易价格⼀列）。值得注意的是，探索性数据分析 是为接下来的建模做准备的，所以我们在进⾏探索数据分析时，只能针对训练集，不然会产⽣数据窥探偏误。测试集的作⽤是测试我们基于 训练集构建的模型的泛化能⼒，我们的模型要完全独⽴于测试集进⾏构造。这就好⽐我们⽐赛，你不能既当球员，⼜当裁判。 1. 训练集数据类型和缺失值分析 数据备份 # df_train=df_train_data.copy() 查看总体数据 # df_train.head(5) 查看训练集的变量数据类型 # df_train.info() 存在缺失值的列有:model、 bodyType、 fuelType、 gearbox。唯⼀的有个字符串类型的变量为notRepairedDamage。 查看唯⼀的字符串类型变量的数值分布 # df_train[notRepairedDamage].value_counts() 训练集各变量的数值分布 绘制所有变量的柱形图，查看数据 # df_train.hist(bins=50,figsize=(20,15)) 清除 plt.cla() # axes 从上⾯的柱形图来看，训练数据种分布有点异常的变量有：creatDate、offerType、seller。下⾯我们具体看⼀下这些变量数值分布： 查看训练集中 变量 # offerType df_train[offerType].value_counts() 查看训练集 变量 # seller df_train[seller].value_counts() 这些变量的数值分布可以总结为： 1. creatDate为汽车开始售卖时间，训练集中的数据⼤致在2016-03-09⾄2016-04-03之间（excel打开⽂件查看）。这个变量可以考 虑减去汽车注册⽇期regDate，得到汽车的使⽤时长。汽车使⽤时长可能时影响汽车销售价格的⼀个重要变量。 2. 训练集和测试集中，offerType变量的值全为0。在构建模型时，可以考虑去掉这个变量。 3. .训练集中，seller变量的值只有⼀个值为1，其余的都为0；⽽测试集中，全为0，可以考虑去掉这个变量。 3. 相关性分析 我们把字符串类型的变量、以及⼀些⽆关的变量去掉，来进⾏相关性分析。 获得需要的列名 # numeric_columns=df_train.select_dtypes(exclude=object).columns columns=[col for col in numeric_columns if col not in [SaleID, name, regDate, regionCode,seller, offerType, creatDate