无线大数据采集与分析.pptVIP

无线大数据 ——采集与分析 Who am I？ 宁海元 江枫 @NinGoo 2003年毕业，做了九年DBA/一年无线数据 2007年淘宝，目前在无线事业部-无线数据团队 《高性能MySQL》第三版中文译者之一 jiangfeng@ 智能机/功能机/山寨机 iOS/Android/WP 苹果的政策 手机浏览器混战 浏览器和Webview cookie和js的支持 十倍以上的增速 日数据量百亿级 活跃用户亿级 数据量 Wap/H5 客户端 无线数据挑战 隐私 孤立 流量 涉及隐私的信息，需要得到用户认可 硬件指纹，自定义ID，Cookie 最少请求，分级压缩，主动埋点 隐私 孤立 流量 无线数据痛点 准确 统一 稳定 实时 无线数据目标 数据采集 客户端SDK Wap/H5 js + Web服务器模块 接收服务 高并发服务接口（Tengine + ngx_lua） 实时海量日志消息中间件（TimeTunnel） 大数据开发 超过4000台的大数据集群（Hadoop） MapReduce vs. 实时流计算（Storm） 可视化展现 js可视化框架（raphael.js, datav.js，highcharts） 海量数据存储（mysql，hbase） 数据挖据/机器学习 数据采集 大数据处理 可视化展现 接收服务 无线数据体系 数据采集 客户端 SDK（Android/iOS/WP） Session + Event Session包括自定义设备ID，硬件基础信息，软件基础信息 Event定义用户行为事件，可自定义扩展 本地压缩并缓存 特定事件触发上传 2013年发展驱动 Wap/H5 js采集脚本（url/ajax/js） 集中的第三方log服务模式 Cookie id 服务端注入采集js，无须前端页面埋点 服务端代理转发，减少客户端http请求 接收服务 Java + Webx 适合复杂业务逻辑 适合大团队合作开发 内部成熟框架，Filter自动处理多种内部业务逻辑 部署框架成熟，但部署过程相对复杂 QPS相对较低，1000左右 假设一天日志上传请求10亿次，以10个小时高峰计算，QPS=27777，28台虚拟机才能满足 Tengine + ngx_lua 轻量，高并发 适合单人快速实现 Tengine有专门团队负责，/ Ngx_lua在内部有成熟应用，部署简单 QPS轻松达到6000+ 假设一天日志上传请求10亿次，以10个小时高峰计算，QPS=27777，5 台虚拟机即可满足 大数据开发 可视化展现 可视化展现 可视化展现 WDM 渠道路径 终端网络 用户行为 成交统计 最有商业价值的数据服务 TITLE Click to add text TITLE Click to add text 2008年进入市场 2012年4月，覆盖约17万应用，5亿设备，日会话12亿 目前覆盖27.5万应用，日会话24亿 全平台支持，包括iOS, Android, WP, HTML5, BlackBerry和JavaME 截止2012.4，三轮融资，超过2500万美 2011年1月产品上线 2011年7月获得1000万美元A轮融资 2012年3月，覆盖2 万应用，日活跃用户4000 万。1.6 亿设备 目前覆盖约10万款应用，每天超过10亿条数据 2012.2上线，5.29正式发布，侧重游戏行业 2012年底获得A轮融资 2013.1.17发布TalkingData Game Analytics（收费服务） TalkingData提供的是企业级服务，B2B模式 覆盖8000万设备，6000余款应用，1亿用户 无线 Wireless 数据 Data 商业价值 Merchant value