[Sqoop]Sqoop使用.docVIP

[Sqoop]Sqoop使用 Sqoop的本质还是一个命令行工具，和HDFS，MapReduce相比，并没有什么高深的理论。 我们可以通过sqoop help命令来查看sqoop的命令选项，如下： 16/11/13 20:10:17 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6 usage: sqoop COMMAND [ARGS] Available commands: ?codegen ? ? ? ? ? ?Generate code to interact with database records ?create-hive-table ?Import a table definition into Hive ?eval ? ? ? ? ? ? ? Evaluate a SQL statement and display the results ?export ? ? ? ? ? ? Export an HDFS directory to a database table ?help ? ? ? ? ? ? ? List available commands ?import ? ? ? ? ? ? Import a table from a database to HDFS ?import-all-tables ?Import tables from a database to HDFS ?import-mainframe ? Import datasets from a mainframe server to HDFS ?job ? ? ? ? ? ? ? ?Work with saved jobs ?list-databases ? ? List available databases on a server ?list-tables ? ? ? ?List available tables in a database ?merge ? ? ? ? ? ? ?Merge results of incremental imports ?metastore ? ? ? ? ?Run a standalone Sqoop metastore ?version ? ? ? ? ? ?Display version information See sqoop help COMMAND for information on a specific command. 其中使用频率最高的选项还是import 和 export 选项。 1. codegen 将关系型数据库表的记录映射为一个Java文件，Java?class类以及相关的jar包，该命令将数据库表的记录映射为一个Java文件，在该Java文件中对应有表的各个字段。生成的jar和class文件在Metastore功能使用时会用到。该命令选项的参数如下图所示： 举例： sqoop codegen --connect jdbc:mysql://localhost:3306/test --table order_info -outdir /home/xiaosi/test/ --username root -password root 上面实例以test数据库的order_info表来生成Java代码，其中-outdir指定了Java代码生成的路径 运行结果信息如下： 16/11/13 21:50:34 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6 Enter password: 16/11/13 21:50:38 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset. 16/11/13 21:50:38 INFO tool.CodeGenTool: Beginning code generation 16/11/13 21:50:38 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `order_info` AS t LIMIT 1 16/11/13 21:50:38 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `order_info` AS t LIMIT 1 16/11/13 21:50:38 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is