4.当移动互联网遇到大数据.pptx

当移动互联网遇到大数据阎志涛 TalkingData 研发副总裁 2014-10中国移动互联网现状-用数据说话移动互联网大数据特点移动互联网大数据价值和利用移动互联网大数据技术移动互联网大数据未来和挑战中国移动互联网现状 – 用数据说话中国移动智能设备中国移动智能设备超过8亿Android和iOS设备的比例约为2:1苹果、三星、小米、华为占据前四iPhone 5S, iPhone 4S, iPhone 5,iPhone 4分列苹果设备的前四名小米MI 3, MI 2S，红米和三星 Galaxy Note 2分列安卓的前四位iPhone 6和iPhone 6 Plus最近快速普及中，在iOS设备中总计占比已经超过2%安卓设备中，没有一款机型占有率超过3%，市场更为碎片化中国移动互联网现状 – 用数据说话2014.7.7 – 2014.7.132014.10.6 – 2014.10.12Android和iOS版本情况Android系统升级缓慢Android 4.2.2仍旧是占比最高的安卓系统Android 4.4.2（2013年12月发布）逐渐普及中iOS用户升级迅速, iOS 7.1.2（2014年7月发布）占比最高iOS 8.0.2（2014年9月26日发布）占比升到第二位AndroidAndroidiOSiOS中国移动互联网现状 – 用数据说话移动应用使用情况BAT以及其关联企业所开发应用占据Top 10应用中的9席微信和QQ一直雄踞中国移动应用覆盖率前两名，并且远远超过第三名淘宝应用覆盖前50名应用中，视频和音频等娱乐类应用占据10款，电商类应用6款，社交类应用5款，游戏类3款。越来越多的人在移动设备侧完成休闲娱乐和购物。在Android系统前50名中，搜索、助手、浏览器、安全等工具软件多达13款且多为BAT3占领。中国移动互联网现状 – 用数据说话中国地区，平均每部设备中安装33款非系统应用，其中3款是游戏。AVG. APP 33款AVG. Game 3款中国移动互联网现状 – 用数据说话中国移动仍然是最大的移动运营商中国移动互联网现状 – 用数据说话人们在移动侧的联网方式移动互联网大数据特点移动互联网大数据的4V Volume 随时随地都在产生数据，数据量更大Variety 随时随地联网的特性，使得移动互联网的数据更具有多样性。在移动侧可以有更为精准的位置数据，各种传感器数据。Velocity 对速度处理的要求性更高，很多的业务场景需要更实时的数据处理才能使得数据产生价值。Value 更多高价值的数据产生万物皆可联网，数据方便人的生活IOT逐渐成为现实，万物都在贡献数据各种智能硬件逐渐普及移动互联网大数据价值和利用更好的个性化服务更为精准的个性化营销更为便利的生活，各种O2O服务租房宝 —— 获客推广案例分享租房宝潜客定义年龄：22 ~ 30岁生活特征：宅男腐女至少拥有一张信用卡招行、交通、中信卡用户更为优质潜在高价值客群居住城市：北、上、广、深等一线城市生活半径：上海内环以外，中环以内iphone用户较多三星galaxy、note系列用户较多移动互联网大数据价值案例 修正IP库对位置的映射IP库作为互联网的一种数据，是互联网广告做城市定向的一个基础传统的IP库利用IP到运营商的分配为基础，QQ类似的应用做众包来修正由于运营商倒卖ip资源，在城市维度就已经有很大误差很难达到更为精准的从ip到位置的映射移动侧则可以方便的通过GPS进行IP库校准移动互联网大数据价值案例 O2O电影在线购票反向导流移动互联网大数据价值案例 O2O电影在线购票反向导流移动互联网大数据价值案例 O2O电影在线购票反向导流移动互联网大数据技术移动互联网大数据处理的一般流程移动互联网大数据技术移动互联网大数据处理系统架构监控和管理数据应用资源和任务调度接口层机器学习流式计算批量计算离线计算RDBMSNoSQL分布式文件系统元数据数据收集和ETL数据获取移动互联网大数据技术移动互联网数据获取技术移动App直接获取通过SDK获取通过Spider爬取移动互联网数据收集一般数据都以日志形式在服务端进行收集LVS和nginx做为前置Kafka, Fluentd, Flume, Scribe作为日志收集的技术框架ETL(Extract-Transform –Load )技术Kettle基于Actor模型的并行处理利用Pig, Hive，甚至MR做ETL移动互联网大数据技术分布式文件系统分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。移动互联网大数据技术NoSQL（如下描述来自于维基百科）NoSQL有时