hadoop平台下的数据迁移设计与实现 design and implementation of data migration based on hadoop platform.pdfVIP

编辑：张洪阳 II E-mail：zhanghy@cesi．crl Tech技nic术al热FoC点US 的数据迁移设计与实现 Hadoop平台下 and ofData Basedon Platform Design ImplementationMigration Hadoop ●北京中油瑞飞信息技术有限责任公司 郭景瞻 张文逵 摘要为解决持续增长的海量数据的存储压力，提出了由在线存储平台和大数据存储平台组成的分层存储系 统，并对分层存储系统中结构化、非结构化数据迁移的设计和实现进行了详细描述，同时介绍了系统实际使用 情况及优缺点。 HBase大数据数据迁移 关键词Hadoop Abstract：Tosolvethesustainable ofmassivedata forwardatiered increasingpressure storage，thispaperputs storage anonline anda data detailsthe and systemcomposedby storageplatformbig storageplatform，and designimplementation ofstructuredandunstructureddata inthetiered introducestheactual and migration storagesystem，and usageadvantages and disadvantages． data；data Keywords：Hadoop；HBase；bigmigration 1引言 用，本文设计了分层存储系统作为大数据存储平台。 分层存储系统由在线存储平台和大数据存储平台组 随着信息技术的高速发展，整个社会正逐步进入 成。其中，在线存储平台为企业的业务系统提供了 “数字化”时代，全球数据持续以爆炸性速度增长， 在线数据的保存和处理服务，保存了业务系统最近 面对持续增长的海量数据对传统存储系统带来的新 一段时间的数据，大数据存储平台保存了企业业务 的挑战，企业需要建立起高吞吐量、高可靠性和可 系统所有的历史数据，如图1所示。 扩展的存储系统。Et常生产运营中， ff』．￡数扣¨r：q 致扣H2掘 企业一般都会有多个业务系统，每个 一…… ‘、‘ j一， 业务系统有各自的归档系统，在这种 埝鹇◇◇999j 非结构化数据 结构化数据j 情况下，企业需要维护多个独立且各 不相同的归档系统，大大增加了维护 攀粤9。擘0 0…0b篓d 和管理的负担并导致系统整体可扩展 磊 。 U U刚刚U 性差。如果构建一个统一的数据存储 平台作为多个业务系统的公共归档系 00p0p ～pp～～0p～ 在线存储iF台 I叫0一 ～pp赢!_}U一剖丽|(Up鬲 统，那么所有业务系统的归档系