经营分析系统中分布式平台设计关键点与探讨.pdfVIP

中国移动通信集团设计院第19届新技术论坛论文集 移动互联网 经营分析系统中分布式平台设计关键点探讨 张金刚，王昕 陕西分院 摘要：面对移动互联网大数据分析需求，引入分布式平台是经营分析系统的发展趋势。分布式平台的建 设与传统模式有较大的不同，中国移动分布式平台在经营分析系统中的应用尚处于试点阶段，能参考的资 料较少，给设计工作带来一定的困难。本文对分布式平台的设计流程和关键点进行了分析、总结，研究结 果对分布式平台设计工作具有一定的参考价值。 关键词：经营分析系统，分布式平台，Hadoop，设计关键点 化所来带的机遇，一些集成商提出的建设方案难免带 l 引言 有倾向性；由于业务和系统的复杂性，建设方案往往 经营分析系统自建设以来，在传统业务分析方 也不够完善；设计人员要想去伪存真、博采众长，高 面有效地支撑了运营商的管理、服务、营销等工作， 效率确定建设方案，首先应该做的是梳理设计流程， 对流量经营尤其非结构化数据方面支撑能力不足。 因为流程清楚了思路也就清晰了，工作按次序开展， 经营分析系统现有架构无法满足对流量数据的存储 效率也比较高。本文建议的设计流程如下。 和处理。 (1)了解项目背景和业务需求 (1)传统模式无法有效存储日益增长的业务数据 项目背景和业务需求是建设方案设计的基础 随着业务发展和应用复杂，使得数据规模越来 出发点，目前建设单位相关人员对分布式平台引入 越大，这些数据量导致了数据存储和处理压力，主 是解决移动互联网大数据处理的背景认识比较统 机、SAN光纤交换机、存储之间端口扩容受限，内 一，但业务需求不够明确，各需求部门不是没有需 部通信消耗资源加剧，成本高扩容压力大，信息处 求就是什么需求都想通过分布式平台解决，这样将 理效率下降。 造成建设方案反复修改，因此，项目进行的第一步 (2)传统模式无法及时有效处理新型业务数据 是了解项目背景和确定主要业务需求。 对于移动互联网业务的分析不同于传统业务， (2)确定分布式平台在经分系统中的定位 需要对内容等非结构化、大容量信息进行有效分析， 分布式平台在经分系统中是相对独立的一部 传统关系型数据库处理吃力。 分，确定分布式平台在经分系统中的定位，也就是 针对上述问题，业界提出的解决方案是在经分 确定分布式平台和经分系统的分工和联系。确定了 系统中引入分布式平台，中国移动也于2012年4月定位，就能清晰地分清分布式的建设内容和其他系 至2013年6月完成了分布式平台在经分系统中应用统需要配套建设的内容。 的试点。除了广东等5个试点公司外，部分省公司 (3)了解分布式平台内部架构 也陆续进行了分布式平台建设，本文作者参与了X 目前，各主流厂商提出的分布式平台软件产 省公司分布式平台建设的设计工作，感觉与传统经 品，都是基于基础的分布式平台数据库进行了再度 分系统扩容有较大不同。鉴于分布式平台将在经分 开发，各产品差异较大。选择合适的产品应从产品 等IT支撑系统中被广泛地引用，作者在此介绍自己 的应用架构和技术架构两方面入手。应用架构方面 的设计心得，以期与相关设计人员共同探讨。 主要了解产品的功能是否能满足业务需求；技术架 构方面主要了解信息的流向(数据处理过程)和各 2设计的流程