基于递归神经网络的广告点击率预估-计算机科学与技术专业论文.docxVIP

万 万穷量t据 学位论文版权使用搜权书 本学位论义作者完全了解 逝星星王主盖有权保留并向国 家有关部门 机构送交本论文的复印件秘破盘 ，允许论文被 查阅和借阅.*人授权盘且里;r_j.;，_笠 吁以将学位 ìe文的令部 或部分内容编入有关数据片 ì}! fl 枪索和传播 ，可以采JfI影 印、缩印成扫描等复例子仅仅仲、汇编呼位论文. (保密的学位论文在解密后适用本授权书) 相份文例机在位夜 答了f.l 1)明: )O J{ 年 3 J1 JbEl 导师们:附和 稼 :r J1 JVI : Je Il 非吉 JJ Jbll 浙江理工大 浙江理工大学硕士学位论文 基于递归神经网络的广告点击率预估 万方数据 万方数据 摘要 伴随着互联网而生的在线广告，在过去几十年里，得到飞速发展。广告点击 率作为计算广告的重要研究内容，越来越受到人们的关注。借助机器学习，根据 历史数据预估广告点击率是目前的主要方法，凭借准确的广告点击率预估可以使 广告投放得更加精准，提高真实的点击率，增加收益。虽然使用线性模型可以简 单地预估广告点击率，但是线性模型的学习能力有限，对于越来越多的数据特征， 无法更有效得学习，而且在学习的过程中容易出现过度拟合的情况，影响模型对 特征的学习。基于神经网络算法的模型采用非线性激励函数以及多层节点结构可 以更好得学习大量非线性特征之间复杂的关系，从而提高模型的预估能力。其中， 递归神经网络是一种网络中存在环结构、能存储神经元前一时刻的输出并且具有 较强的优化计算能力的神经网络。本文主要工作包括以下三个方面： (1) 本文针对不同的模型进行相应的特征处理，逻辑回归模型采用拼接显性 特征组合提取隐藏用户属性，再通过哈希映射，将原来不同类型的特征值转换成 相同类型的特征值。随机森林模型采用建立特征字典，过滤频次过低的样本数， 然后进行 one-hot 编码去处理特征。基于神经网络的模型，本文采用首先计算特 征的频次，并建立特征频次字典，将字符型特征转变成整型特征，然后将转化后 的特征进行离差标准化，使每个特征的特征值范围在[0,1]之间。 (2) 递归神经网络虽然已经应用于广告点击率的预估，但是递归神经网络模 型采用梯度下降，在趋近最小值时，可能会出现梯度爆发或消失，从而影响预估 效果。本文采用基于 LSTM(long short term memory)改进的递归神经网络预估广 告点击率，利用 LSTM 去修正 RNN，来防止梯度的爆发或消失。实验结果表明 基于 LSTM 改进的递归神经网络模型在预估广告点击率方面取得了较好的效果。 (3) 本 文 采 用 python 语 言 编 写 逻 辑 回 归 模 型 ， 随 机 森 林 模 型 、 BP(Back Propagation)神经网络模型、递归神经网络模型和基于 LSTM(Area Under roc Curve) 改进的递归神经网络模型。并分别采用 sigmoid 函数和 ReLu 函数来训练递归神 经网络，实验证明 ReLu 函数收敛得更快，模型预估的效果更好。模型评估方法 采用 logloss 方法，与 AUC 相比 logloss 更能反映模型预估广告点击率的准确性。 关键字：在线广告；广告点击率；逻辑回归；随机森林；递归神经网络；LSTM I Prediction of ads’ click through rate based on recurrent neural network ABSTRACT Along with the rapid development of Internet, in the past few decades, online advertising also get rapid development. Advertising click-through rates (CTR) as an important content of computational advertising, start to become an essential part of the industry. Advertiser use machine learning algorithms, based on a lot of historical data for model training estimate ads’ click through rate and accurate ads’ click through rate estimate can make advertising more targeted and efficient , which will also improve the real hits and increa