移动大数据平台的一些实践经验.pdfVIP

数据是移动互联网的主旋律数据是移动互联网的主旋律 我们的现状 netty serverserver mysqlmysql phone nginx Finagle server a k PPadd ngiinx ff stormstorm a k Finagle box nginx server zookeeper Hive Pig mongodb HDFSHDFS KV a k Proxy f Mapreduce a k HBASE Spark SDK的教训 再控制： 控制： 与服务端通 数据包数据包 信策略信策略 控制： 的大小 SDKSDK的的 大小 控制、控制 控制SDK大小 ◦SDK模块化设计，不同功能可以自行组合 控制数据包大小 ◦使用二进制数据包格式使用二进制数据包格式 ，，thriftthrift 再控制 控制与服务端交互策略 ◦多种发送模式，满足实际业务需求 ◦数据包去重，多重校验 ◦SDK端按规则调整+服务端动态控制 服务系统的教训 快速迭代意 需求驱动是 味着取舍选味着取舍选 最合适的演最合适的演 择择 ！！ 进方向进方向 ！！