大数据技术在互联网广告方面的应用-徐孟刚.pdfVIP

大数据技术在互联网广告方面 的应用 寺库大数据部 徐孟刚 2015年9月17 日 Data is everywhere… …and so is ad! So, lets talk about big data on ads Lambda：一个典型的数据架构 批处理系统 数据总线 KV存储 流处理系统 关键技术 •  数据总线：接收、缓存并分发数据 •  批处理：长周期（小时/天/.. ）数据处理平台 •  流式处理：实时（秒/毫秒）数据处理平台 •  Key-Value存储：存储计算结果并提供快速查询 Kaa – 分布式消息队列 Kaa的主要特性 •  充分利用操作系统的文件读写机制 •  分布式架构，方便横向扩展 •  高性能 Hadoop – 大象起舞 Hadoop = HDFS + MapReduce •  HDFS - Hadoop Distributed File System. 一个专门 用来存储大文件的分布式文件系统 •  MapReduce - 一种起源于Google的分布式计算框 架，广泛应用于大数据处理 Storm – 流式数据风暴 Storm 基本概念 •  Stream: Tuple 序列 •  Topology: 流式数据处理任务 •  Spout: 输入流 •  Bolt: 计算单元 Redis – 高性能KV存储引擎 Redis 特性 •  NoSql引擎 •  支持多种数据结构 •  可持久化（Snapshot/AOF ） •  主从备份 •  支持简单事务 总结 •  每种技术都不完美 •  拿来主义 or 自造轮子 •  WHY vs WHY NOT