关系型数据库与HBASE间的数据迁移 介绍.pptVIP

数据迁移 HBase数据库迁移工具的设计与实现 同济大学 杨寒冰 2013 Kettle工具 Apache sqoop 背景 互联网应用朝着数据海量化，用户访问高并行化的方向发展，应用分布式数据库可以解决这一问题。其中HBase已经成为目前最热门的NoSQL数据库。 如何将原先存储在关系型数据库中的数据迁移到HBase中成为当前非常热门的问题。 1.数据库迁移技术研究现状 是否支持 SQL Server----关系数据库 SQL Server----Hbase 表模式 √ × 数据类型 √ × 事务 √ × 存储过程 √ × 常用软件 SQL server migration assistant等第三方软件 Sqoop，Kettle等 由于各类关系型数据库之间的高度相似性，使得在这类数据库之间迁移变得相对简单。从SQL Server向其他例如Oracle、MySQL等关系型数据库迁移时，已经有丰富的自动化或者半自动化的工具来帮助开发人员完成整个迁移工作。 从关系型数据库向HBase迁移，目前必须由开发人员手工地完成从表结构迁移直到数据内容迁移这一系列复杂的工作。 Hbase数据迁移工具 Sqoop Kettle 来源 Apache项目（2009） 开源ETL（extract，transform and load） 主要作用 在结构化数据存储与Hadoop/HBase之