特征工程.PPT

Two Sigma Connect: Rental Listing Inquiries 比赛总结 目录 01 问题分析 02 特征工程 03 模型设计 04 总结回顾 01 问题分析 问题分析 数据说明： （1）基本信息：price，bedrooms，bathrooms （2）描述信息：description，features，photos （3）时间信息：created （4）地理信息：longitude，latitude，display_address， street_address，building_id （5）管理员信息：manager_id 问题分析 基本信息 描述 信息 时间信息 地理信息 管理员信息 房子的受欢迎程度 02 特征工程 特征工程：基本特征 价格分布： 存在长尾现象 特征工程：基本特征 价格分布： 取对数 特征工程：基本特征 卧室数目分布： 卧室的数目的分区度比较高，尤其在卧室数目在1和2的地方 特征工程：基本特征 浴室数目分布： 浴室数目对房子满意度的区分度比较低 特征工程：基本特征 基本特征： （1）对数价格 （2）卧室数 （3）每间卧室的价格 （4）总房间数 特征工程：描述特征 由于描述信息是以自然语言的形式给出，因此要对描述信息处理比较困难。对于这类信息的处理，主要做了两面的工作，第一是统计数量，第二是One-Hot编码 （1）统计数量： 统计照片数，特征数，描述所用的单词数 （2）One-Hot编码： 对于所给的features数据，使用One-Hot编码，向量的大小为400 特征工程：时间特征 创建日期与满意度占比的关系 特征工程：时间特征 额外的时间特征信息 Listing_id与创建日期成线性关系 特征工程：地理特征 对于不同的地区，住房的价格水平，满意程度都有所不同，因此对于地理信息的处理，主要做的是聚类。所做的聚类有三种： ①利用K-means对经纬度进行聚类 ②对经纬度进行栅格化 ③构建市中心，根据市中心距离聚类 * 特征工程：地理特征 K-means * 特征工程：地理特征 栅格化 * 特征工程：地理特征 构建市中心 * 经纬度精确到一位小数，发现有三个比较密集的点作为市中心 特征工程：管理员特征 对管理信息的处理主要是统计相应管理员的管理信息，管理能力。 （1）管理员信息 统计每个管理员所管理的房子数目，管理的平均价格，管理的平均卧室数目，管理的平均浴室数目。 * 特征工程：管理员特征 （2）管理能力 统计如下特征： 统计每个管理员所管理的房子中，满意度为high，medium，low的占比 统计每个管理员所管理的房子中，满意度为high，medium，low的平均价格 统计每个管理员所管理的房子中，满意度为high，medium，low的平均卧室数目 统计每个管理员所管理的房子中，满意度为high，medium，low的平均浴室数目 * 特征工程：管理员特征 （2）管理能力 为了避免标签信息泄露、过拟合和保证交叉验证与对测试集预测过程的一致性，这里采用了交叉统计的方法： ①将训练样本分成5份，取其中的4份作为统计，将统计结果赋值给另外一份，重复五次 统计，使得训练样本都拥有统计结果 ②统计所有的训练样本，将统计结果赋值给测试样本 * 03 模型设计 模型设计：分类器选择 在本次比赛中，xgboost的效果非常的明显，而且对于NaN值也能进行处理，因此选了xgboost作为我的分类器。所有特征使用单模型进行训练，得到的logloss值为0.506 * 问题 统计每个管理员所管理的房子中，满意度为high，medium，low的占比 统计每个管理员所管理的房子中，满意度为high，medium，low的平均价格 统计每个管理员所管理的房子中，满意度为high，medium，low的平均卧室数目 统计每个管理员所管理的房子中，满意度为high，medium，low的平均浴室数目 上述四个特征都不取，logloss只有0.512；四者取其一都为0.506；全取也为0.506。为什么呢？ * 说明这四个特征都是强特征，却不会出现“强强联手”的局面 模型设计：模型融合 * K-Fold * 模型设计：优化目标函数 * 总结 04 总结 要想取得好成绩，做好特征工程 要想取得好排名，做好模型融合 * THANKS