运营商大数据变现实践.docxVIP

3月29日，由东湖大数据发起、数据观作为合作媒体参与的大数据百人会 线 上沙龙第9期活动圆满结束，浙江移动大数据中心傅一平博士就《运营商大数据 变现实践》主题与大家分享了数据利用的心得与经验， 带来了两个多小时的精彩 直播演讲。运营商拥有庞大且具有绝对话语权的数据资源、 数据储备，关于对数 据利用的心得与经验，傅一平先生围绕浙江移动的平台能力、 数据管理、数据能 力、标签能力、产品服务这5大内容深入浅出地做出描述。十足的干货、通俗易 懂的表达方式，专业的视角和独到的解读吸引了 3326人次在线观摩学习。以下 附文字干货及完整版PPT,本次沙龙录音内容以第一人称整理。 ?以下为文字干货 1、运营商的平台能力 2004年我进入浙江移动，3年前开始从事大数据相关的工作，推动了浙江 移动大数据变现工作的开展，浙江移动在大数据变现过程中碰到了很多问题， 我 们在实践和探索中也总结出了一些经验，今天与大家分享一下。 数据变现我不能直接去谈商务模式，因为商务模式依赖于我们平台、数据和 标签能力。运营商的平台能力分为五横一纵，从数据采集、数据处理、数据分析、 数据访问到数据应用，还有管理平台，这是一个标准架构。互联网公司的大数据 平台架构可以与其作一定的映射，当前，浙江移动从这五个方面也初具雏形。 值息的團孤啊舍.IStatfMl ?怡?［三■:严 ；⑴煮 目IR已英賀 值息的團孤啊舍.IStatfMl ?怡?［三■:严 ；⑴煮 目IR已英賀??MM? 力；KtefiKlt交叔 塾甲分斷斡询济：町毎;童■穽力【事IE户備!1. 61毎符理 宪金1?珂 ?JAV9 81程■用 配魅 计址?谢蒂I 幵最署?R 1户，址一疑丽审甘齐匚 ■ L_RWBt_ ——iitf ai mm J 1 丨 J 1 fit-1 ■?学甘 叫宿H* 浙江移动经过两期系统的建设，采用了非常多样的技术组件，底层用的是华 为的BDI，中间的处理层用的是hadoop，有商用的，也有开源的版本，大家可 以看到里面有3个应用集群，中间我们使用的是MPP,MPP用来做我们的报表， 主要是融合、复杂以及交叉的分析，当然我们也采用了 ASTER的数据挖掘库， 它提供了一些现成挖掘的 API，计算速度比较快，流处理的话我们使用的是 IBM STREAM,海量数据处理方面很不错。往上一层我们主要是做读写分离的，有 Oracle、HBASE、KV数据库，为应用层提供支撑。 运营商如果想对外变现，它必须具备像阿里云一样方便驻户进驻的能力，它 的平台能力应该是所见即可得的，浙江移动大数据平台可以在一周内实现合作伙 伴的入驻并实现全方位的开放，当前外部合作伙伴已经超过 30个，当然这仅仅 是起步的阶段，我方搭台、对方唱戏”的这种模式对平台来讲是必不可少的，很 多公司如果没有多驻户的开通能力，变现是不大可行的。 2、运营商的数据管理 数据管理每个公司需要，浙江移动这些年做起来艰巨，我这里提炼了对数据 管理非常核心的几点，也是在实际中碰到的：①二级互动，你的数据必须与源系 统打通，源系统变动时，大数据平台所有相关的数据字典都应该变动， 这能解决 两张皮的问题。②因为大数据平台组件很多，你的数据管理平台必须让所有的技 术组件对你开放，就比如说我们采用的华为BDI的产品，我就必须让他开放所有 BDI的元数据接口，这样整个公司的数据管理体系才是一体的，否则你就断了条 胳膊，你做的数据分析都无法贯通，这是大家在引入技术组件特别要注意的。 ③ 数据建模，强调数据标准化和可视化，你所有的建模都应该是基于规范的， 你所 有表的命名都应该有自己的规则，这样整个公司所有大家看到的数据是一致的， 所有的合作伙伴都能共享标准化的数据。当然数据管理也是一种追求，你一个小 公司搞一个元数据产品其实没有必要，假如公司做大了，你做数据管理成本会非 常高，因此必须要通过系统化、透明化的方式来管理，不做的代价是数据知识没 有积累和传承。 宾践険呦.加.执行价皿.匾对洁同的如揭# mo梁桶紹t删側行.就利rs 關踽抑阳酣湖行詢■删匠 沒旬他 BKflaatt.后向犧式很难成功! 数据管理虽然做了很多规范，但所有的规范都应该纳入系统中，这样才能保 证你所有的系统数据管理规范都能在系统中落地， 不然靠人去推动，基本上你的 数据管理系统是会失败的。数据管理用后向模式去做不是性价比高的方式，你必 须做成前向，在开发的过程中就应该把数据管理工作嵌入进去， 数据管理跟每个 开发、需求、测试人员息息相关，这是我们多年数据管理中深刻的体会。 数据管理平台很难通用化，无论是通讯行业、金融行业，由于本身的垂直行 业特点，你的数据管理平台必须符合你垂直行业特点， 想单靠一套数据管理平台 来做成每个行业是很难成功的，这是我观点。而且数据管理平台非常强调运营，