如何在一天之内收集亿移动设备的数据.PDFVIP

如何在一天之内收集 亿移动设备的数据 章炎 友盟 SDK nginx finagle server SDK a Storm k nginx f SDK finagle server a K nginx MongoDB Real-time Processing System(Thunder) MapReduce Jobs S a F k f D a H K HBase kvproxy Front End Web Batch Processing System(Iceberg) 实时计算 离线计算 主要问题 数据传输格式 切换到 增加 减小数据包大小 校验 和去重 发送模式 启动时发送，关 闭时发送，实时发送 避免 推送使得大量设备同时对前端请求，前 段没有办法及时响应致使客户端超时，可是客户端 又使用固定间隔时长重试 模块化设计 网络传输，设备数据 加密解密， 设备标识变迁 不同 版本能够获取设备信息不同 来统一设备标识 实时计算 nginx ruby server ruby worker e nginx u ruby server q s e R nginx MongoDB Real-time Processing System(Thunder) ● 简单直接，没有考虑性能情况 ● 还没有出现性能和扩展