python在互联网广告监测分析中的应用.pdf

Python 在互联网广告 监测分析中的应用 @陆丹峰 from AdMaster (精硕科技) 互联网广告简介 * 广告 ，和”游戏”、”电子商务”为互联网三大主要盈利途径 * 广告形式：文字链、静态图片、动态Flash、交互式等 * 投放渠道：门户、搜索、视频、微博、SNS、手机… 互联网广告目的：在线营销 广告监测/数据分析：优化广告主的在线营销策略，提升广告转化率 广告投放 投放数据采集：曝 优化投放策略 光/点击/用户行为 数据 数据分析 数据挖掘 AdMaster 广告数据采集分析架构 曝光/点击 华南 • 用 PyPy 跑 Tornado /用户行为 • 相比 CPython 性能提升 30% … • 内存使用大，但无泄露 华北 LVS 实时 HDFS 数据 Hadoop Nginx Nginx … 汇总 Tornado Tornado … 数据处理（PyPy ） log log 清洗/扩充/回溯 Python 在 Hadoop 处理中的角色 2: 生成脚本 参数 1 Pig 算法1 输入 Python *处理输入输出 Pig 算法2 *控制 Pig 脚本 5 … 计算结果 3: 执行 MapReduce 计算 • 每天新增 TB 级数据 4: 返回 MR 结果 • 每天对千亿行数据进行 Hadoop 各种维度的计算 微博分析工具 WeiboMaster • 企业级 • 微博营销分析管理平台 • 新浪 + 腾讯