数据挖掘兴奋比赛入门以去年阿里天猫推荐比赛为例.docxVIP

小斯（成文辉）：wenhui.cwh@ PAGE \* MERGEFORMAT1 目录 TOC \o 1-3 \h \z \u HYPERLINK \l _Toc412729545 写在前面 PAGEREF _Toc412729545 \h 2 HYPERLINK \l _Toc412729546 赛题介绍 PAGEREF _Toc412729546 \h 2 HYPERLINK \l _Toc412729547 赛题FAQ PAGEREF _Toc412729547 \h 3 HYPERLINK \l _Toc412729548 数据挖掘 初阶 PAGEREF _Toc412729548 \h 4 HYPERLINK \l _Toc412729549 问题解析 PAGEREF _Toc412729549 \h 4 HYPERLINK \l _Toc412729550 训练集和测试集的划分与构建 PAGEREF _Toc412729550 \h 4 HYPERLINK \l _Toc412729551 数据清洗 PAGEREF _Toc412729551 \h 5 HYPERLINK \l _Toc412729552 领域知识 — 特征工程 PAGEREF _Toc412729552 \h 6 HYPERLINK \l _Toc412729553 我的特征工程 PAGEREF _Toc412729553 \h 8 HYPERLINK \l _Toc412729554 缺失值填充 PAGEREF _Toc412729554 \h 11 HYPERLINK \l _Toc412729555 数据分布不一致问题 PAGEREF _Toc412729555 \h 11 HYPERLINK \l _Toc412729556 单模型的调优 PAGEREF _Toc412729556 \h 12 HYPERLINK \l _Toc412729557 正负比例失衡问题 PAGEREF _Toc412729557 \h 12 HYPERLINK \l _Toc412729558 模型选择与融合 PAGEREF _Toc412729558 \h 12 HYPERLINK \l _Toc412729559 比赛Top10的答辩PPT等学习资料 PAGEREF _Toc412729559 \h 13 HYPERLINK \l _Toc412729560 数据挖掘 进阶 PAGEREF _Toc412729560 \h 13 HYPERLINK \l _Toc412729561 附言 PAGEREF _Toc412729561 \h 14 写在前面 之前写过 HYPERLINK /p/1001603740163867054829 关于《天猫推荐算法大赛》的总结，但那并不适合给纯新手看，这里再针对性地进行整理，以方便新手理解。仍然以该赛题为例，讲解一个数据挖掘比赛的具体做法，层层深入。本次讲解假定读者对机器学习和数据挖掘有一定的了解，懂基础知识，比如《数据挖掘导论》、《机器学习实战》等，针对简单的数据集做过实验，推荐 HYPERLINK /view/1d893fcd8bd63186bcebbc51.html 《机器学习那些事》。 文章外链多为引申，如精力有限，先看本文。 HYPERLINK http://102./competition/addDiscovery/gameIntroduce.htm 赛题介绍 本届赛题的任务就是根据用户4个月在天猫的行为日志，建立用户的品牌偏好，并预测他们在将来一个月内对品牌下商品的购买行为。我们会开放如下数据类型： 字 段 字段说明 提取说明 user_id 用户标记 抽样字段加密 Time 行为时间 精度到天级别隐藏年份 action_type 用户对品牌的行为类型 包括点击、购买、加入购物车、收藏4种行为?(点击：0 购买：1 收藏：2 购物车：3） brand_id 品牌数字ID 抽样字段加密 用户对任意商品的行为都会映射为一行数据。其中所有商品ID都已汇总为商品对应的品牌ID。用户和品牌都分别做了一定程度的数据抽样，且数字ID都做了加密。所有行为的时间都精确到天级别(隐藏年份)。——下图是部分样例数据截图和season1的数据集。 HYPERLINK /read/154994.html 赛题FAQ 1. 抽样方式 我们在做训练数据的时候，是首先从天猫全量用户中定了一个抽样比例，确定训练用户集User set。同样，在天猫全量品牌集合中，定了一个抽样比例，确定品牌集合Brand Set。大家拿到的这份数据，是User Set 中