分布式数据库Greenplum研究与应用.pdfVIP

2017年·第6期 Research|技术应用 栏目编辑：梁丽雯 E-mail:liven_01@163.com 分布式数据库Greenplum研究与应用* ■ 中国人民银行广州分行 张文升 近年来，随着金融业务的快速发展，作为业务系统核心部分的数据库，面临着扩展性、业务连续性和 摘 要： 成本等方面的挑战。与此同时，互联网应用的飞速发展，使分布式技术领域出现了一些支持大规模、突发性、高并发 量的分布式应用架构。本文结合金融精准扶贫大数据查询和分析场景，对分布式数据库Greenplum进行研究和应 用探讨，并得出以下结论：在应对海量数据的查询分析处理上，Greenplum扩充合理的数据节点数，可明显提升效 率；但应用分布式数据库要满足一定的应用条件和管理要求，建议在传统数据库已达空间上限时，再进行分布式的 数据库应用。 大数据；分布式数据库；Greenplum 关键词： 近年来，随着业务的快速发展，金融业务系统核 行处理架构的分布式数据库，为业界业务系统实现灵 心部分的数据库的扩展性、业务连续性和成本等方面 活、低成本的线性扩展，以及提高数据查询和分析效 的问题日益突出。传统的向上扩展（scale-up）模式， 率提供了思路。 即通过增加CPU、内存、磁盘等资源以提高处理能力 正是在这样的背景下，中国人民银行广州分行（以 的模式，已不适应时代发展要求。与此同时，在互联 下简称“人行广州分行”）积极研究分布式架构，结合 网应用需求和压力的推动下，大数据处理技术应运而 金融精准扶贫大数据查询和分析场景，对分布式数据 生，包括数据的存储、管理、分析等得到快速发展。 库Greenplum进行了研究和应用实践。 2003年至2006年，Google发表关于GFS，MapReduce 和BigTable的3篇论文，标志着在数据分析处理上分 一、应用场景分析 布式技术研究获得了突破，支持大规模、突发性、 Greenplum是一个基于PostgreSQL的开源分布式 高并发 量的分布式 应 用架构 快 速 发 展。而其中， 数据库引擎，是为新一代数据仓库和大数据存储分析 Greenplum作为一款基于Shared-Nothing以及MPP并 提供软件的解决方案，特别适用于大型分析型应用和 作者简介： 张文升（1985-），男，广东汕头人，工程师。 收稿日期： 2017-03-08 *本文仅代表作者个人观点，不代表作者所在单位意见。 4848 万方数据 2017年·第6期 栏目编辑：梁丽雯 E-mail:liven_01@163.com Research|技术应用 商业智能应用场合。根据其技术特点，Greenplum尤其 分行结合该应用实践，探索分布式数据库在真实场景 适合以下应用场景。 下的应用，以期实质性地提升系统服务水平。 （一）以分析为主的海量数据处理需求 （一）分布式数据库构建和设置 从应用需求上看，Greenplum本质上是一款关 结合金融精准扶贫名录查询系统应用特点，人行 系型数据库，但由于采用MPP并行处理架构、支持 广州分行搭建了Greenplum分布式数据库环境。初始 MapReduce等，具有海量数据的高效分析处理能力， 化搭建时由1个主节点和多个数据节点组成，每个节点 可实现