数据导入最常用的三种方式.docVIP

数据导入HBase最常用的三种方式及实践分析 摘要：要使用Hadoop，需要将现有的各种类型的数据库或数据文件中的数据导入HBase。一般而言，有三种常见方式：使用HBase的API中的Put方法，使用HBase 的bulk load工具和使用定制的MapReduce Job方式。本文均有详细描述。 【编者按】要使用Hadoop，数据合并至关重要，HBase应用甚广。一般而言，需要?针对不同情景模式将现有的各种类型的数据库或数据文件中的数据转入至HBase?中。常见方式为：使用HBase的API中的Put方法；?使用HBase 的bulk load 工具；使用定制的MapReduce Job方式。《HBase Administration Cookbook》一书对这三种方式有着详尽描述，由?ImportNew?的陈晨进行了编译，很有收获，推荐给大家。 HBase数据迁移（1）-使用HBase的API中的Put方法? 使用HBase的API中的Put是最直接的方法，用法也很容易学习。但针对大部分情况，它并非都是最高效的方式。当需要将海量数据在规定时间内载入HBase中时，效率问题体现得尤为明显。待处理的数据量一般都是巨大的，这也许是为何我们选择了HBase而不是其他数据库的原因。在项目开始之前，你就该思考如何将所有能够很好的将数据转移进HBase，否则之后可能面临严重的性能问题。