大数据分析场景下分布式数据库技术应用.docVIP

大数据分析场景下分布式数据库技术应用 　　收稿日期：2015-03-22 　　【摘要】为了解决运营商日益增长的数据管理和应用需求，分布式数据库应运而生。通过介绍分布式数据库混合存储、透明压缩等关键技术，并结合运营商系统建设，探讨了分布式数据库技术在大数据分析场景下的具体应用。目前基于分布式数据库的架构已在运营商多个大数据分析系统中得到大量应用，并取得良好的效果。 　　【关键词】大数据分布式数据库大规模并行处理无共享列存储 　　doi：10.3969/j.issn.1006-1010.2015.12.000中图分类号：TP392文献标识码：A 文章编号：1006-1010（2015）12-0000-00 　　引用格式：齐磊. 大数据分析场景下分布式数据库技术的应用[J]. 移动通信， 2015，39（12）： 00-00. 　　Application of Distributed Database in the Scene of Big Data Analysis 　　QI Lei 　　（China Mobile Group Design Institute Co.， Ltd.， Beijing 100080， China） 　　[Abstract]In order to solve operators’increasing demands on data management and application， distributed databaseappearedwith the computer network and database systems. Some key techniques such as mixed storage and transparent compression were introduced. According to operators’ system construction， specific applications of distributed database in the scene of big data analysis were discussed. At present，distributed database architecture has been widely applied in operators’ multiple big data analysis systems with satisfactory effect. 　　[Key words]big data distributed database massive parallel processing （MPP） share nothing column storage 　　1 引言 　　随着移动互联网的迅猛发展，运营商网络中的数据呈现爆炸性增长，带来海量数据存储、分析及管理的需求。大数据分析场景以非结构化数据为主，运营商由小型机构建的传统数据库系统在架构、成本、分析能力等方面均出现瓶颈或不满足发展需求，运营商系统对分布式数据库需求大量增加。因此，秉承“高效低成本”的指导原则，并实现大数据的交换、整合和分析，本文基于运营商大数据分析系统，探讨了以分布式数据库为特征的架构方案具体落地。 　　2 建设驱动力 　　在大数据时代，面对海量数据的井喷式增长，传统集中式数据库的弊端日益显现，采用分布式数据库的驱动主要来源于以下方面： 　　（1）更强的扩展能力：传统小型机构成的数据库系统受限于其架构，最多几百TB级别的数据容量，其扩展性能已接近瓶颈。而分布式数据库架构能够动态地增添存储节点，在支持PB级别的数据环境方面更具优势。 　　（2）较大的成本优势：大数据下，传统小型机及数据库扩容成本急剧提升，而分布式数据库在成本方面具备较大的优势。以运营商存储总量为500TB的大数据分析系统为例，在考虑服务器、数据库软件及网络设备的整体架构方案设计下，传统数据库架构造价成本为11.2万元/TB，而分布式数据库架构造价成本仅为2.2万元/TB，单位造价降低80%。 　　（3）更优的使用效果：在大数据分析场景下，分布式架构的列存储、透明压缩、并行处理等技术很容易实现海量存储和管理要求，可以及时响应大规模用户的读/写请求，在查询、统计和分析类操作较传统数据库具备天然的优势。 　　3 实现分布式数据库的关键技术 　　3.1 MPP+Shared Nothing架构 　　分布式数据库一般基于MPP（Massive Parallel Processing，大规模并行处理）技术实现，由多个松耦合的处理单元构成，每个处理单元都有自己的计算资源、存储资源和软件资源，如总线、内存、硬盘、操作系统和数据