KAGGLE案例-课件资料 从FM到FFM.pdfVIP

美团点评技术团队 深入FFM原理与实践 del2z, 大龙  ・2016-03-03 09:00 FM和FFM模型是最近几年提 的模型，凭借其在数据量比较大并且特征稀疏的情况下，仍然能够得到优秀的性能和效果的特性，屡次 在各大公司举办的CTR预 比赛中获得不错的战绩。美团点评技术团队在搭建DSP的过程中，探索并使用了FM和FFM模型进行CTR 和CVR预 ，并且取得了不错的效果。本文旨在把我们对FM和FFM原理的探索和应用的经验介绍给有兴趣的读者。 前言 在计算广告领域，点击率CTR （click-through rate）和转化率CVR （conversion rate）是衡量广告流量的两个关键指标。准确的 计CTR、CVR对于提高流量的价值，增加广告收入有重要的指导作用。预 CTR/CVR，业界常用的方法有人工特征工程 + LR(Logistic Regression)、GBDT(Gradient Boosting Decision Tree) + LR[1] (/lilyth_lilyth/article/details[2] (/Matrix_Yao/p/4773221.html) [3] (/lilyth_lilyth/article/details、FM （Factorization Machine）[2] (/Matrix_Yao/p/4773221.html)[7] (http://www.algo.uni- konstanz.de/members/rendle/pdf/Rendle2010FM.pdf)和FFM （Field-aware Factorization Machine）[9] (.tw/~slides/ffm.pdf)模型。在这些模型中，FM和FFM近年来表现突 ，分别在由Criteo和 Avazu举办的CTR预测竞赛中夺得冠军[4] (/c/criteo-display-ad-challenge)[5] (/c/avazu-ctr-prediction)。 考虑到FFM模型在CTR预 比赛中的不俗战绩，美团点评技术团队在搭建DSP （Demand Side Platform）[6] (/wiki/Demand-side_platform)平台时，在站内CTR/CVR的预 上使用了该模型，取得了不错的效果。 本文是基于对FFM模型的深度调研和使用经验，从原理、实现和应用几个方面对FFM进行探讨，希望能够从原理上解释FFM模型在点 击率预 上取得优秀效果的原因。因为FFM是在FM的基础上改进得来的，所以我们首先引入FM模型，本文章节组织方式如下 1. 首先介绍FM的原理。 2. 其次介绍FFM对FM的改进。 3. 然后介绍FFM的实现细节。 4. 最后介绍模型在DSP场景的应用。 FM原理 FM （Factorization Machine）是由Konstanz大学Steffen Rendle （现任职于Google）于2010年最早提 的，旨在解决稀疏数据 下的特征组合问题[7] (http://www.algo.uni-konstanz.de/members/rendle/pdf/Rendle2010FM.pdf)。下面以一个示例引入FM 模型。假设一个广告分类的问题，根据用户和广告位相关的特征，预测用户是否点击了广告。源数据如下[8] (/~wcohen/10-605/2015-guest-lecture/FM.pdf) Clicked Country Day Ad_type 1 USA 26/11/15 Movie 0 China 1/7/14 Game 1 China 19/2/15 Game "Clicked "是label，Country、Day、Ad_type是特征。由于三种特征都是categorical类型的，需要经过独热编码 （One-Hot Encoding）转换成数值型特征。 Clicked Country=USA Country=China Day=26/11/15 Day=1/7/14 Day=19/2/15 Ad_type=Movie Ad_type=Game 1 1 0 1 0