运营商经营分析系统演进的探讨.docVIP

运营商经营分析系统演进的探讨 　　摘要：结合云计算及大数据的发展趋势，分析目前云数据仓库发展情况，探讨运营商经营分析系统未来演进方向。 　　关键词：经营分析；数据仓库；大数据；云计算 　　中图分类号：TP311.13 　　1 研究背景和意义 　　随着移动互联网时代的到来，三大运营商的业务重点正在从话音、数据业务向互联网业务转变。这种转变将对经营分析系统带来迫切的需求。一方面，日益严峻的竞争环境要求经营分析系统分析粒度更加细化，为前台客户发展、客户保留提供更为细致的分析结果；另一方面，随着业务模式的转变，海量的互联网数据需要纳入分析范围，这两方面的因素决定了未来几年经营分析系统的规模和处理性能将超常规发展。因此，经营分析系统传统的高端小型机+磁盘阵列的建设模式已难以适应移动互联网时代企业发展的要求，亟需寻找低成本、高性能的演进方案。 　　2 云计算与大数据 　　自Google提出云计算概念以来，已使得IT行业发生了巨变。最近一年来，大数据概念迅速兴起。大数据的兴起说明数据已成为重要的资产，谁拥有更多数据、更善于使用数据，就能吸引用户、产生价值，在未来IT行业发展中占据竞争的主动。 　　大数据技术与云计算的发展密切相关，大数据技术是云计算技术的延伸。大数据技术涵盖了从数据的海量存储、处理到应用多方面的技术，包括海量分布式文件系统、并行计算框架、NoSQL数据库、实时流数据处理以及智能分析技术等。云计算为大数据提供了发展的可能，大数据是云计算绝佳的业务领域。 　　大数据技术为运营商带来绝佳的转型机会。除应用于传统企业运营管理分析外（如战略分析、竞争分析、运营分析、流量经营分析、网络管理维护优化、营销分析），还可利用积累的数据，为用户提供内容服务，例如根据对用户上网行为的分析，为用户推荐应用商店软件、IPTV视频节目等。因此三大运营商应抓住机会，发力完善扩充运营分析系统，盘活庞大的数据资产，拓展业务领域。而这种转型，需要现有的数据仓库向云计算架构演进。 　　而就技术来说，目前应用与大数据领域的云计算技术主要包括MPP（大规模并行处理）数据库与Hadoop技术。 　　3 云计算MPP数据仓库关键技术分析 　　随着大数据时代的到来，传统的数据仓库系统已无法满足性能和成本两方面的挑战。而廉价的x86设备通过分布式并行处理软件集群实现了低成本、高性能的解决方案。虽然传统交易型数据库在向x86云平台迁移过程中仍有许多问题难以解决，但在分析型数据领域，由于其数据操作多为连续读写，业界已有较多x86云计算MPP数据库解决方案，构建价格低廉的基于x86平台的云数据仓库已成为现实。MPP云计算数据仓库关键技术如下所述。 　　3.1 数据库SharedNothing集群架构 　　面对大数据量的处理，MPP是数据仓库的必然演进方向。并行数据库架构方式主要包括SharedDisk和SharedNothing两种。 　　SharedDisk架构指数据库集群中每一个CPU使用自己的私有内存区域，通过内部通讯机制直接访问所有磁盘系统。其主要特点为高并发、高可用性。但其存在资源争用问题，当为大数据量处理增加更多的CPU时，因为增加了对内存访问和网络带宽的竞争，系统反而有可能减慢。 　　而在SharedNothing集群中，每一个CPU都有私有内存区域和私有磁盘空间，而且2个CPU不能访问相同磁盘空间，CPU之间的通讯通过网络连接。其主要特点为，支持大数据量处理高并行、低并发、低可用性。当事务数量不断增加时，SharedNothing体系可通过增加额外的CPU和内存来数据库稳定增长，从而可以保证每个事务处理时间不变。同时，SharedNothing在运行过程中降低了竞争资源的等待时间，从而提高了性能。 　　就其适用场景而言，当应用代码量很大、相关数据量比较小时，SharedDisk更加适合这种典型的OLTP应用；如计费系统。而当相关数据量很大、而应用代码并发量很小时，由于SharedNothing架构可将单一大任务分解为多个小任务、同时在多个节点处理，通过并行缩短任务处理时间，从而大大提升系统性能。因此SharedNothing架构是云计算数据仓库的必然选择。 　　3.2 列式数据库 　　列式数据库是以列相关存储架构进行数据存储的数据库，主要适合于批量数据处理和即席查询。相对应的是行式数据库，数据以行相关的存储体系架构进行空间分配，主要适合小批量的数据处理，常用于联机事务型数据处理。 　　列数据库在数据仓库、商务智能领域应用中有着先天的优势：独特的存储方式，能够迅速的执行复杂查询；列数据库的压缩技术，更是能为数据仓库、商务智能应用中巨大的数据量节约存储成本；列数据库先进的索引技术也大大提高了数据库的管理，其优势详见下表，可见列