定向广告系统技术介绍.pdf

海量数据处理课程作业 精准定向广告系统技术调研 小组成员： 徐 粲 1401210792 朱项宁 1401211073 张传号 1401211045 罗志鹏 1401210986 二〇一五 年 三 月 1 目 录 第一部分大数据技术的内涵、外延、工作范畴的分析和讨论3 1.1 大数据的内涵、外延3 1.2 大数据的工作范畴3 第二部分 精准定向广告技术调研5 2.1 广告系统简介及架构5 2.2 CTR 点击率预测简介7 2.3 特征工程9 2.4 逻辑回归模型及并行化方案 13 2.5 语义分析技术在广告系统中的应用20 2.6 主题模型 （Topic Model）介绍20 2.7 大规模LDA 模型以腾讯Peacock 为例24 2.8 图片语义分析32 第三部分 介绍2~3 中开源框架40 3.1Mahout 40 3.2 MPI 44 3.2.3 MPICH 执行步骤45 3.2.4 MPICH 基本函数介绍46 参考资料48 2 第一部分大数据技术的内涵、外延、工作范畴的分析和讨论 1.1 大数据的内涵、外延 大数据并非一个确切的概念。最初，这个概念是指需要处理的信息量过大，已经超过了 一般电脑在处理数据时所能使用的内存量，因此工程师必须改进处理数据的工具。这导致了 新技术的诞生，利于谷歌的 MapReduce 和 Hadoop 平台。——Victor Mayer-Schonberger Kenneth Cukier 《Big Data a revolution that will transform how we live ,work ,and think》 2014.5 目前工业界普遍认为大数据具有4V+1C 的特征： 1. 数据量大（Volume）存储的数据量大，拍字节级别是常态，因而对其分析的计算量也大。 2. 多样（Variety）数据的来源及各市多样，数据格式除了传统的格式化数据外，还包括 半结构化和非结构化。 3. 快速（Velocity）数据增长速度快，同时要求对数据的处理速度也要快，以便能从数据 中及时的提取知识。 4. 价值密度低（value）需要对大量的数据处理挖掘其潜在的价值，因而大数据对我们提 出的明确要求是设计一种在成本可接受的条件下，通过快速采集、发现和分析大量、多 种类别的数据中提取价值的体系结构。 5. 复杂度（Complexity）对数据的处理和分析难度大。 1.2 大数据的工作范畴 大数据可以应用在商业、医疗、教育、政府、经济、人文、以及社会的各个领域。 大数据应用在商业例子：Oren Etzioni 2003 年传立了一个预测系统，并在一个旅游网站上爬 到了 41 天内的 12000 条机票价格数据。这个系统可以预测出未来机票价格的走势。就是后 面的 Farecast 公司。为了提高预测的准确性，他找到了一个行业机票预定数据库，拿到了美 国航空产业中每一条航线、每一架飞机、每一个座位的一年的票价。2012 年止，Farecast 3 票价的预测的准确率达到 75% 。平均每张机票可以节省50 美元。后面被微软收购，并入必 应搜索。 大数据应用在公共事业领域：谷歌公司把 5000 万条美国人最频繁的词条和美国疾控中心在 2003 年至 2008 年间季节性流感传播时期的数据进行分析比较，他们希望通过分析人们的搜 索记录来判断这些人是否换上了流感。谷歌为了测试这些检索词条，总共处理了 4.5 亿个数 学模型。最终他们发现他们的预测与官方数据的相关性高达