中国移动通信研究院云计算研究所所长孙少陵：实现BI系统集中化+数据模型标准化.docVIP

【CSDN现场报道】中国IT界技术盛会——Hadoop与大数据技术大会（HadoopBigDataTechnologyConference2012，HBTC2012）于2012年11月30日-12月1日在北京新云南皇冠假日酒店隆重召开。本次大会以“大数据共享与开放技术”为主题，聚焦于Hadoop与大数据，力邀数十位国内外Hadoop及大数据技术应用的产学界人士和实践企业，探讨大数据技术生态系统的现状和发展趋势，并围绕Hadoop与大数据热点技术和应用实践进行深入解析。 中国移动通信研究院云计算研究所所长孙少陵在题为“电信运营商基于大数据的商业智能应用的思考”演讲中提到，中国移动已经走到商业智能分析阶段，需要实现BI系统集中化，将两级结构专为集中化架构；实现数据模型标准化，并将各系统的数据统一存储和处理。中国移动在集中化BI面临海量数据的处理和存储复杂、混合负载压力大等挑战，所以引入了大数据技术。而在实践中，移动也发现Hadoop在高效索引、数据存储和查询优化方面确实还有问题，性能较低等问题，他呼吁中国移动与生态系统的更多伙伴共同丰富Hadoop。 中国移动通信研究院云计算研究所所长孙少陵 以下为现场实录： 运营商对大数据商业智能的利用都有着自己的考虑。刚才程主任提到了未来的发展趋势或者说现在已经产生的趋势是很多的传统企业已经在考虑大数据的应用，运营商实际上也是一种传统的企业。所以可能分享的信息会具有一定的代表性。 全球的数据量在高速地增长。信息也逐渐变成了企业的战略资产，比如说：企业越来越多地需要应用后台的数据进行用户行为的分析和进行市场决策的支持，以及做一些网络优化等方面的分析。同时为了满足政策法规的要求和国家对信息管制的要求，实际上运营商也需要储存和收集大量的数据。所以对于所有企业尤其像运营商这样的企业，数据量的增长都是目前正在发生的事实。 大数据为运营商带来的巨大机遇与挑战 大数据对目前的信息产业带来了非常大的潜在机遇，对大数据来说我们面临什么样的机遇和挑战呢？首先，我们认为在网络这个时代，运营商处在一个数据交换中心的地位。随着互联网的发展繁荣，运营商的管道可以抓取世界大部分的数据，尤其是用户在使用数据和信息行为等方面。这些实际上都体现在运营商平台中采集到的大量的日志信息和流量信息，这些信息存在着大量的商业利用价值；而该如何样利用除了存在着技术上的问题，还存在着法律上的问题。 所以对运营商来说这么大的数据给我们带来了什么样的机遇？ 第一，改善了用户的体验。传统上来说，运营商在做业务设计、用户体验优化的时候，可能更多地做一些市场调研等事情。实际上，随着大数据的产生我们发现用户的每次点击行为，都可以采集到用户对业务的偏好和一些行为特征。基于这些行为特征可以很好地改进产品的设计，可以在现场进行推荐和咨询，或者是采用外呼的方式。如果通过数据分析和挖掘，把外呼的范围缩小，某种意义讲这将给我们运营成本带来很大的节约。 第二，优化网络质量。实际上运营商的网络现在是越来越复杂了，作为中国移动的一个移动运营商来说，我们有无线接入网，现在有2G、3G、WiFi，未来还有LTE。当然还有其他的业务平台，实际上这种网络优化是一个非常复杂的事情。现在对于网络优化的实质性要求也非常高，一旦比如说基站出现了故障，必须在非常短的时间内进行定位和修复。这种大数据为我们的网络优化带来了很大的潜在的机遇。通过端到端的网络质量的分析，对一些故障的发现很快可以进行网络的优化和故障的定位，所以这对中国移动来说是非常大的机遇。 第三，助力市场决策。随着互联网公司对于某些传统电信业务的进入，市场竞争越来越激烈。通过业务资源和财务多方面的综合分析，让领导进行快速的市场决策，这在市场竞争中可以形成不对称的竞争优势。所以，这实际上对运营商来说也是非常大的机遇。 最后，刺激业务的创新。很多的专家提到数据实际上是有很大的价值，有很多的公司渴望能得到运营商手里握有的大量数据，但这些数据怎么样的在法律法规允许的条件下进行采访和共享，这涉及到很多的问题。这方面不管怎样说，对运营商都是一个潜在的机遇。未来，我们可能会基于这些信息来推出一些新的业务，形成运营商新的竞争力。当然，大数据，这么多数据给BI系统带来了很大的挑战，所有运营商的状况都差不多。说的是中国移动的情况但比较具有代表性。首先商业智能系统是分散建设的，因为运营商一般是两级结构、甚至是三级结构，有总部、有省、有地市，这些分散很难进行资源的共享。比如说专业系统上，我们有一些专业系统。同时这些系统可能分级建设。 但这样的话也有诸多问题。其一造成了资源的重复建设，应用的重复开发。同时有一些数据科学家和分析人员的专家资源也没法儿形成共享。其二，数据分散存储标准化程度比较低。因为目前不同系统的建设主体是不一样的，尽管集团有统一的