基于卷积神经网络的搜索广告点击率预测..docVIP

基于卷积神经网络的搜索广告点击率预测 引言 随着Web搜索技术的成熟，搜索广告已经成为互联网行 业的主要收入来源之一，其根据用户输入的查询词，在搜索 的结果页面呈现出相应的广告信息。广告媒介的收益通过每 次点击费用与广告点击率预测共同影响而得到，即CPC*CTR。 由于用户点击广告的概率随着广告位的排放顺序呈递减趋 势，因此对CTR进行准确高效的预测，并将CTR高的广告投 放在搜索结果页面靠前的位置，不仅能增加广告媒介的收益 还能提高用户对搜索结果的满意程度。 广告点击率预测是广告算法中最核心的技术，近年来被 学术界广泛关注。部分学者使用基于推荐方法的模型来解决 CTR预测问题。霍晓骏等人［1］采用协同过滤算法，为页面找 到与其相似的其他邻居页面，实现CTR的预测，以此作为基 础进行广告推荐，但当相似页面的数量增加时，该方法的结 果质量会严重下滑。Kanagal等人［2］提出了 一种聚焦矩阵分 解模型，针对用户对具体的产品的喜好以及相关产品的信息 进行学习，解决因用户-产品交互活动少而造成的数据稀疏 问题。在文献［2］的基础上，Shan等人［3］提出了一种立方矩 阵分解模型，通过对用户、广告和网页三者之间关系的立方 矩阵进行分解，利用拟合矩阵的值来预测CTR，虽然立方矩 阵分解模型增加了一维交互关系，但所刻画的交互关系仍然 十分局限，不能在CTR预测中充分挖掘广告所有特征之间的 联系。 作为典型的预测问题，很多研究中通过将CTR预测问题 看作分类或者回归问题来解决，其中最常见的是应用线性模 型来预测CTRo Chapelle等人［4］使用动态贝叶斯网络，通 过对用户产生的点击过程建立模型，考虑级联位置的信息模 拟出特定位置与相近位置的相关性，以判断该位置上的广告 是否满足用户搜索要求。Chakrabarti等人［5］利用点击反馈 的相关性，通过在网页和广告词等特征上使用逻辑回归模型 提高广告检索和预测的效果。Wu等人［6］基于融合的思想， 将不同线性模型的实验效果相结合，来提高搜索广告CTR预 测的结果。真实的场景中CTR的预测并非简单的线性问题， 因此，一些学者开始使用非线性模型本来解决CTR的预测。 Dave等人［7］在搜索广告点击信息以及广告商账户信息上提 取语义特征，使用基于投票思想的梯度提升决策树模型，提 高了 CTR预测的效果。Zhang等人［8］利用神经网络模型对影 响搜索广告点击率的因素进行的探索，从特征因素方面提高 CTR预测的结果，但是资源单一，数据交互的关系没有获得 良好的利用。 本文对基于卷积神经网络的CTR预测进行研究，通过卷 积与亚采样操作的结合，能更好地学习出数据特征之间的关 系，不仅解决了线性模型无法模拟真实广告数据场景的问题， 也解决了浅层学习模型无法深入挖掘特征间相互关系的问 题，并且较之于传统的神经网络，CNN能更好地理解特征之 间的关系。在真实的数据集上的实验验证了本文的方法能够 提高搜索广告中CTR预测的AUC值。 1卷积神经网络模型 卷积神经网络基本模型 卷积神经网络作为人工神经网络之一，目前已成为深度 学习领域中研究的热点，权值共享以及局部窗口滑动的特点 使之能更好地模拟出生物神经网络。卷积神经网络在结构上 有两个重要的组成部分：卷积层和亚采样层。如图1所示。 1卷积层与亚采样层结构 Convolution layerandsub-sampli nglayerstructure 在卷积层中，原始特征通过卷积核进行卷积得到输出的 特征，使用不同的卷积核就可以得到一系列不同的输出特征。 对卷积层的计算，有如下公式： 这里，是sigmoid函数，，；代表输入特征上选定的窗口， 即在卷积过程中当前卷积核在计算时所对应在输入特征上 的位置；和分别是第层输入特征和第层输出特征上相应的值; 是卷积核的权重值；是特征的偏置，每一层对应一个。 卷积过程，一个卷积核通过滑动会重复作用在整个输入 特征上，构建出新的特征。同一个卷积核进行卷积时，共享 相同的参数，包括同样的权重和偏置，这也使要学习的卷积 神经网络参数数量大大降低了。而当我们使用不同的卷积核 进行卷积时，可以得到相应的不同的输出特征，这些输出特 征组合到一起，构成卷积层的输出。 在亚采样层，前一个卷积层的输出将作为该层的输入特 征，首先设定大小的窗口，然后通过滑动，用窗口区域中最 大的特征值来表示该窗口中的特征值，最后组合这些特征值 得到降维后的特征。亚采样过程可表示如下： 这里，类似于卷积层，和分别是第层输入特征和第层输 出特征上相应的值，是特征的偏置；表示取最大值或者平均 值的函数。 典型的卷积神经网络通常由n个卷积层和亚采样层以及 最末尾的m全连接层组合而成。一个亚采样层跟随在一个卷 积层后出现，通过这若干卷积层和亚采样层后得到的特