大数据平台跟在推荐广告的运用20资料.pptVIP

大数据平台及 在推荐广告方面的应用 何为大数据 大数据平台架构 FTP HDFS MR Sqoop FumeNG 数据采集 数据处理存储层 建模 Kafka Hbase Mysql Redis 数据可视化 Ganglia Spark Nagios Ozzie 监控管理 调度 特征工程 应用 搜索 BI 推荐 广告 分类/回归 聚类 主题 预测 Log Server 商品库 用户库 用户行为 非结构化 结构化 降维 优化 PUSH HIVE Spark sql 离线 实时 从Hadoop1.0到Yarn 单点 资源管理和调度分离 资源划分：slot到container 从Hadoop到Spark Input Iter.1 Iter.2 Hadoop Spark 大数据生态圈 one stack to rule them all Storm 流计算 Impalad (Ad-hoc query/迭代) Hive/MR (批处理) Hadoop crawler 搜索引擎 HBase MQ 1、writeLog 2、write商品pic(insert/update/delete) 3、index Log 4、finish(可靠) 数据平台 数据源 Sdk(插件/App/b5m) 爬虫 Log server MR/Spark YARN 调度 离线计算 实时计算 用户行为 数据 数据平台应用 FlumeNG Storm spark steaming 推荐 广告 mysql 商品、订单 应用平台 监控 平台应用-爬虫数据处理平台 爬虫数据处理平台 Storm Spark Streaming 推荐系统典故 啤酒与尿布 老板、首页、性保健品 推荐举例—商品详情 推荐举例—购物车结算 推荐举例—首页/支付完成页 推荐的价值 流量 用户粘性 CTR GMV 减少购物路径 用户体验 多样性 新颖性 流量投放给目标用户 精准 转化率CVR ROI 推荐(广告、搜索)的架构 候选集 待推荐商品 索引过 离线 检索(相关性)过 实体 实体 特征 实时 model 训练过 离线 实时 排序、过滤过 推荐列表 算法简介 候选集 店铺信誉 更新时间 人气 价格 评价 退货率 score TCL 手机 0.2 0.54 0.2 0.7 联想手机 0.32 0.6 1.2 0.5 ….. 相关性 协同过滤 关联推荐 分类兴趣 聚类 排序 预估点击率 pCTR 逻辑回归 GBDT 推荐系统的架构 离线 算法库 在线 触点 意图(聚焦、发散) + 画像 融合 过滤 排序 用户行为（反馈） 推荐 效果验证 数据存储中心 Hadoop Hive Hbase Mysql redis 任务调度中心 索引构建 model 训练 User(f1,f2,f3,…) 配置 管理 监控 相似度 用户画像体系 基本维度 性别、年龄、地域、终端、网络、 渠道、 兴趣、标签维度 商业维度 品类、品牌、、、 新老用户、频次、 购买频次、ARPU、购买时间 语义挖掘 行为标注引擎 网络爬虫引擎 知识库 结构化 电商 数据开放 智能推荐 广告 经分预测 用户画像 非结构化 短期 浏览、购买、搜索、、、 长期 数据合作 广告 广告联盟 搜索推广 广告主业务 平台 营销推广 定向投放 检索 统计监控分析 计费 CPC 数据存储同步 相关性 排序 pCtr*Bid 兴趣标签、同类相似 关键词 效果回收 精 准 总结 数据、算法、产品