大数据时代的互联网行为定向广告技术.pdf

大数据时代的互联网行为定向 广告技术 品友互动 •互联网广告介绍 • Hadoop云计算平台 •用户行为分析和挖掘 互联网广告分类 • 搜索广告 – 搜索广告是指广告主根据自己产品的内容和特点 等，确定相关的关键词，自主定价投放的广告 • 展示广告 – 应用广泛 – 形式多样：图片、文字链接、视频广告、移动广 告、社交广告等形式 – 前景广阔 展示广告增长强劲 互联网广告的计费方式 • CPT/CPD(Cost-Per-Time):每小时/天费 用 • CPM(Cost-Per-Mille/Impressions):每 千次曝光费用 • CPC(Cost-Per-Click):每次点击费用 • CPA/CPS(Cost-Per-Action):每次效果 费用 • …… 传统展示广告的缺点 • 广告资源价值没充分体现；存在浪费 • 广告投放效果不明显 • 用户体验差 互联网行为定向广告 • 通过获取用户行为（浏览、点击、购 买等），分析其用户属性（关注点、 兴趣取向等），从而实现“定向投放” 的广告 • 优点 – 网站广告资源充分利用 – 广告主实现最大的投放效果 – 网民体验更好，看到自己感兴趣的信息 Hadoop云计算平台 用到的工具和技术 LibSVM 日志收集系统 - Flume Flume在品友的使用 • 良好的可扩展性 – 简单的source和sink APIs。 – 基于事件流的设计易于把简单的操作组合成复杂的操作。 – 插件式的架构易于用户使用自己编写的sources、 sinks和 decorators。 • 良好的可管理性 – Web Page – Flume Shell • 良好的可靠性 – 三种级别的故障恢复模式 Flume在品友的使用 • 优化前Flume占用的系统资源 • 优化后Flume占用的系统资源 通过优化，Flume在内存和CPU的使用上都 有较大的降低：2/3 Sqoop 在品友的使用 • 品友的数据源多样，数据种类众多，支持 的业务复杂，怎么解决各个不同数据库与 hadoop的快速、简易的传输？ • Sqoop作为Hadoop DB ETL的利器，在品友 得到了广泛的使用 Pig在品友的使用 • 大量的业务、需求、分析需要大量的开发 工作，怎么在有限的人力资源和时间成本 中平衡 • Pig的广泛使用 – 简单易学 – Pig Script转换为Map Reduce程序,缩短开发时 间 – 丰富的Pig Built- In Function – 可扩展的Pig User Defined Function MapReduce程序 Oozie在品友的使用 • 由于我们的分析内容多种多样，一个分析 过程可能就需要对HDFS进行操作、 MapReduce、Pig、Sqoop和定时任务的提交 • 为了整合分析过程的各个阶段，使分析的 过程更有逻辑性，并且提高Job在Hadoop上 的执行效率，我们使用Oozie作为基于 Hadoop的工作流引擎管理数据流水线。 Oozie在品友的使用 Ganglia在品友的使用 • Ganglia 是 UC Berkeley 发起的一个开源 实时监视项目，我们使用Ganglia监控品友 云的各个节点，提供系统静态数据以及重 要的性能度量数据。 • Nagios:良好的邮件或短信报警功能，我们 用其对我们的系统进行异常预警 Ganglia在品友的使用 Redis在品