徐萌：中国移动大数据应用实践218074138.pptVIP

中国移劢大数据应用实践 徐萌 中国移动通信研究院 云计算系统部 2013年12月 中国移动网络规模和拥有用户数全球第一 ?900,000 基站、99% 人口覆盖、237 国家漫游 ?7亿3千万以上用户，占据中国大陆65% 市场份额 ?位于珠峰大本营的世界最高移动基站 6500m ?2008年北京奥运会合作伙伴 ? 连续四年入选道.琼斯指数DJSI ? 《金融时报》发布的“全球最强势100品牌”，排名第10位 ? 2010年《商业周刊》评选全球创新企业50强，排名第18位 336 2001 2006 2009 2010 287 2001-2012 世界500强排名 2005 2003 2004 2002 224 230 242 2007 202 2008 180 148 99 77 87 2011 81 2012 移动互联网用户流量激增，手机数据化、宽带化趋势明显 用户分布 数据来源：Infoma 2013 全球移劢互联网用户数量激增， 已3倍于固定互联网用户数量 流量分布 数据来源：Cisco 2013 移劢互联网流量激增，2012年底， 移劢数据流量占比超过13% 时间分布 移劢互联网：通信功能 = 80：20 数据来源：GSMA 2013 移劢互联网应用使用时间激增，是 使用通信服务时间的4倍 中国大陆移劢互联网发展有相类似的趋势，截至2013年6月，中国大陆手机网 民已达4.6亿，上半年移劢互联网接入流量同比增长62.6%（CNNIC、工信部） transaction DBMS ETL DW Analysis Cluster Unstructure Stream Multiple data sources (MapReduce) 传统数据分析处理 大数据处理 ? 面向结构化数据，非结构化处理效率低 ? 基于昂贵硬件（小型机+磁盘阵列）或一体机 ? 硬件平台兼容性差：在跨代硬件或跨厂商硬 件环境下常常无法部署 ? 扩展性达到PB级之上可选厂商较少，易绑定 Traditional DB/DW TB PB Distributed architecture EB ? ZB ? 具备结构化/非结构化混合分析的能力,大数据多为非结构化 ? 基于消费级硬件，以常态化硬件故障为设计出发点，丌依赖高 性能、高可靠性硬件保障系统性能和可靠性。 ? 基于通用硬件，平台兼容性好，可跨代，跨厂商硬件部署 ? 扩展性高，业内有上万节点级部署案例，大陆有千节点级部署 MPP DW+Hadoop Analysis 大数据处理核心基础的转变 用户 协议 业务 访问 终端 上行 下行 电信运营商发挥管道优势，深入挖掘大数据的价值 借助云计算技术和运营商优势，将大数据信息转 化为商业价值，促进业务创新 1. 2. 3. 改善用户体验：智能语音门户通过知识库和语义搜 索技术实现业务知识的机器智能回答 助力市场决策：充分挖掘用户的移动互联网行为特 征，提升对用户消费偏好的精准把握，帮助市场营 销等决策，实现精准营销。 优化网络质量：利用信令数据支撑终端、网络、业 分析需求 流量分析 流量的构成和 大趋势分析等 务平台关联分析，优化网络，实现网络价值最大化 用户分析 用户兴趣偏好、近 期关注、活动范围 等 流量清单查询 为用户提供流 量的去向查询等 网络质量和效率分析 网络价值分析 客户感知及行为分析 PI 网元能力层 KQI 业务质量层 KPI 网络性能层 QOE 客户感知层 ?? 上网日志内 容字段 帐号 类型 类型 URL 信息 流量 流量 劣力市场决策 业务端到端分析 优化网络质量 改善用户体验 ? ? 2007年3月，启动了“大云”研发项目 2008年11月，作为副主任委员单位发起 成立了中国电子学会云计算专委会； ? 2010年1月，作为副理事长单位发起成立 了中国云计算技术和产业联盟； ? 2011年8月，作为副理事长单位发起成立 了中国云计算发展与政策论坛； ? 2010年5月，加入云计算国际测试床Open Cirrus，成为国内第一个成员单位； ? 2011年12月，正式发布“彩云”个人云 服务 ? 2012年12月，采用大云产品的国家教育 云正式上线 ? 2013年6月，为了加强云计算和大数据开 发，研究院基于大云团队成立云计算系统部 ? 2013年9月，大云项目被列为集团战略性 重大项目之一 中国移动是国内云计算的先行者和倡导者 ?中国移动从2007年就开始云计算的探索和实践，是国内云计算的先行者和倡导者， 积极参与国内外的标准化和产业推动 2009年12月建成国内