大数据_“人工特征工程+线性模型”的尽头 - 51CTO.pdfVIP

大数据:“人工特征工程+线性模型”的尽头 2013-05-10 09:31 佚名 新浪博客 字号：T  | T 数据的飞速增长，给模型训练带来极大压力。事实上，11年的时候模型训练已经是新特征上 线的主要障碍了。凭着年轻的冲动，和对分布式系统和数值算法优化的一点点知识，我头脑 一热就开始设计下一代模型训练系统了。 AD： 干货来了,不要等 ！WOT2015 北京站演讲PPT开放下载 ！ 标签：大数据机器学习特征工程11年的时候我加入百度，在凤巢使用机器学习来做广告点击预 测。当时非常惊讶于过去两年内训练数据如此疯狂的增长。大家都在热情的谈特征，每次新特征的加 入都能立即得到AUC的提升和收入的增长。大家坚信特征才是王道，相信还会有源源不断的特征加 入，数据规模还会成倍的增长。我也深受感染，坚定的相信未来两年数据至少还会长十倍，因此一切 的工作都围绕这个假设进行。现在两年过去了，回过头来看，当时的预测是正确的吗? 数据的飞速增长，给模型训练带来极大压力。事实上，11年的时候模型训练已经是新特征上线的 主要障碍了。凭着年轻的冲动，和对分布式系统和数值算法优化的一点点知识，我头脑一热就开始设 计下一代模型训练系统了。目标是在同样的资源下，能容纳当前十倍的数据。项 目是在情人节立项， 取了一个好玩的名字，叫darlin 【吐槽1】，这个系统应该是百度使用率最高的机器学习训练系统之 一了。一个重要问题是，它会像前任一样在两年后成为性能瓶颈吗? 目前看来，以上两个问题的答案都是否定的。 【吐槽1】意思是distributed algorithm for linear problems。更好玩的是，计算核心模块叫 heart，络通讯模块叫telesthesia。数据是用类似bigtable的格式，叫cake，因为切起来很像蛋糕。 开发的时候开玩笑说，以后上线了就会时不时听人说 “darlin”，是 不是会很有意思?可惜全流量上 线后我就直奔CMU了，没享受到这个乐趣：) 我们首先讨论特征。特征是机器学习系统的原材料，对最终模型的影响是毋庸置疑的。如果数据 被很好的表达成了特征，通常线性模型就能达到满意的精度。一个使用机器学习的典型过程是：提出 问题并收集数据，理解问题和分析数据继而提出抽取特征方案，使用机器学习建模得到预测模型。第 二步是特征工程，如果主要是人来完成的话，我们称之为人工特征工程 (human feature engineering)。举个例子，假设要做一个垃圾邮件的过滤系统，我们先收集大量用户邮件和对应的标 记，通过观察数据我们合理认为，标题和正文含有 “交友 “、”发票 “、”免费促销 “等关键词的很 可能是垃圾邮件。于是我们构造bag-of-word特征。继而使用线性logisitic regression来训练得到 模型，最终把模型判断成是垃圾邮件的概率大于某个值的邮件过滤掉。 就这样搞定啦?没有。特征工程是一个长期的过程。为了提升特征质量，需要不断的提出新特 征。例如，通过分析bad case，不久我们便发现，如果邮件样式杂乱含有大量颜色文字和图片，大概 率是垃圾邮件。于是我们加入一个样式特征。又通过头脑风暴，我们认为如果一个长期使用中文的人 收到俄语的邮件，那估计收到的不是正常邮件，可以直接过滤掉。于是又加入字符编码这一新特征。 再通过苦苦搜寻或买或央求，我们得到一个数据库包含了大量不安全ip和发信地址，于是可以加入不 安全来源这一新特征。通过不断的优化特征，系统的准确性和覆盖性不断的提高，这又驱使我们继续 追求新特征。 由此可以看出，特征工程建立在不断的深入理解问题和获取额外的数据源上。但问题是，通常根 据数据人能抽象出来的特征总类很有限。例如，广告点击预测，这个被广告投放公司做得最透彻的问 题，目前能抽象出来的特征完全可以写在一张幻灯片里。好理解的、方便拿来用的、干净的数据源也 不会很多，对于广告无外乎是广告本身信息(标题、正文、样式)，广告主信息(行业、地理位置、声 望)，和用户信息(性别、年龄、收入等个人信息，cookie、session等点击信息)。KDD CUP2013腾讯 提供了广告点击预测的数据，就包含了其中很多。所以最终能得到的特征类数上限也就是数百。另外 一个例子是，google使用的数据集里每个样本含有的特征数平均不超过100，可以推断他们的特征类 数最多也只是数百。