无线大数据的采集与分析.pptxVIP

无线大数据——采集与分析 Who am I？ 宁海元 江枫 @NinGoo 2003年毕业，做了九年DBA/一年无线数据 2007年淘宝，目前在无线事业部-无线数据团队 《高性能MySQL》第三版中文译者之一 jiangfeng@无线数据挑战Wap/H5客户端智能机/功能机/山寨机iOS/Android/WP苹果的政策手机浏览器混战浏览器和Webviewcookie和js的支持数据量十倍以上的增速日数据量百亿级活跃用户亿级 无线数据痛点隐私隐私涉及隐私的信息，需要得到用户认可孤立硬件指纹，自定义ID，Cookie流量孤立流量最少请求，分级压缩，主动埋点无线数据目标统一实时稳定准确 数据采集客户端SDKWap/H5 js + Web服务器模块数据采集 接收服务高并发服务接口（Tengine + ngx_lua）实时海量日志消息中间件（TimeTunnel）接收服务可视化展现无线数据体系 大数据开发超过4000台的大数据集群（Hadoop）MapReduce vs. 实时流计算（Storm） 可视化展现大数据处理js可视化框架（raphael.js, datav.js，highcharts）海量数据存储（mysql，hbase）数据挖据/机器学习数据采集2013年发展驱动客户端Wap/H5 SDK（Android/iOS/WP） Session + Event Session包括自