运营商大数据变现实践.doc

运营商大数据变现实践 运营商大数据变现实践 PAGE / NUMPAGES 运营商大数据变现实践 3 月 29 日，由东湖大数据发起、数据观作为合作媒体参与的大数据百人会 ·线 上沙龙第 9 期活动圆满结束， 浙江移动大数据中心傅一平博士就 《运营商大数据 变现实践》主题与大家分享了数据利用的心得与经验， 带来了两个多小时的精彩直播演讲。运营商拥有庞大且具有绝对话语权的数据资源、 数据储备，关于对数据利用的心得与经验， 傅一平先生围绕浙江移动的平台能力、 数据管理、 数据能 力、标签能力、产品服务这 5 大内容深入浅出地做出描述。十足的干货、通俗易 懂的表达方式，专业的视角和独到的解读吸引了 3326 人次在线观摩学习。以下 附文字干货及完整版 PPT，本次沙龙录音内容以第一人称整理。 以下为文字干货 1、运营商的平台能力 2004 年我进入浙江移动， 3 年前开始从事大数据相关的工作，推动了浙江 移动大数据变现工作的开展， 浙江移动在大数据变现过程中碰到了很多问题， 我们在实践和探索中也总结出了一些经验，今天与大家分享一下。 数据变现我不能直接去谈商务模式， 因为商务模式依赖于我们平台、 数据和标签能力。运营商的平台能力分为五横一纵， 从数据采集、数据处理、数据分析、数据访问到数据应用， 还有管理平台， 这是一个标准架构。 互联网公司的大数据平台架构可以与其作一定的映射，当前，浙江移动从这五个方面也初具雏形。 浙江移动经过两期系统的建设， 采用了非常多样的技术组件， 底层用的是华为的 BDI，中间的处理层用的是 hadoop ，有商用的，也有开源的版本，大家可 以看到里面有 3 个应用集群，中间我们使用的是 MPP，MPP 用来做我们的报表， 主要是融合、复杂以及交叉的分析，当然我们也采用了 ASTER的数据挖掘库， 它提供了一些现成挖掘的 API，计算速度比较快，流处理的话我们使用的是 IBM STREAM，海量数据处理方面很不错。往上一层我们主要是做读写分离的，有 Oracle、HBASE、 KV 数据库，为应用层提供支撑。 运营商如果想对外变现， 它必须具备像阿里云一样方便驻户进驻的能力， 它的平台能力应该是所见即可得的， 浙江移动大数据平台可以在一周内实现合作伙 伴的入驻并实现全方位的开放，当前外部合作伙伴已经超过 30 个，当然这仅仅 是起步的阶段， “我方搭台、对方唱戏 ”的这种模式对平台来讲是必不可少的，很 多公司如果没有多驻户的开通能力，变现是不大可行的。 2、运营商的数据管理 数据管理每个公司需要， 浙江移动这些年做起来艰巨， 我这里提炼了对数据管理非常核心的几点， 也是在实际中碰到的： ①二级互动， 你的数据必须与源系 统打通，源系统变动时， 大数据平台所有相关的数据字典都应该变动， 这能解决两张皮的问题。 ②因为大数据平台组件很多， 你的数据管理平台必须让所有的技 术组件对你开放， 就比如说我们采用的华为 BDI 的产品，我就必须让他开放所有 BDI 的元数据接口，这样整个公司的数据管理体系才是一体的，否则你就断了条 胳膊，你做的数据分析都无法贯通， 这是大家在引入技术组件特别要注意的。 ③ 数据建模，强调数据标准化和可视化， 你所有的建模都应该是基于规范的， 你所有表的命名都应该有自己的规则，这样整个公司所有大家看到的数据是一致的， 所有的合作伙伴都能共享标准化的数据。 当然数据管理也是一种追求， 你一个小公司搞一个元数据产品其实没有必要， 假如公司做大了， 你做数据管理成本会非常高，因此必须要通过系统化、 透明化的方式来管理， 不做的代价是数据知识没有积累和传承。 数据管理虽然做了很多规范， 但所有的规范都应该纳入系统中， 这样才能保证你所有的系统数据管理规范都能在系统中落地， 不然靠人去推动， 基本上你的数据管理系统是会失败的。 数据管理用后向模式去做不是性价比高的方式， 你必须做成前向，在开发的过程中就应该把数据管理工作嵌入进去， 数据管理跟每个开发、需求、测试人员息息相关，这是我们多年数据管理中深刻的体会。 数据管理平台很难通用化， 无论是通讯行业、 金融行业，由于本身的垂直行 业特点，你的数据管理平台必须符合你垂直行业特点， 想单靠一套数据管理平台 来做成每个行业是很难成功的，这是我观点。而且数据管理平台非常强调运营， 它需要这个平台不停地迭代， 相对而言它对定制化的要求很高， 同时，我们的数 据管理平台在大数据时代要适配所有的技术组件， 要能屏蔽技术细节， 对上提供 透明化，可视化的访问和开发能力。 浙江移动的数据是非常丰富的， 它提供 1600 种数据类型、300 个融合模型 .10 万个客户标签以及上百个 API，运营商只有把基础设施建好了才能为我们的客户 提供更快更好的数据服务