Sqoop中文手册21p.docx

经典资料，WORD文档，可下载交流， 经典资料，WORD文档，可编辑修改，欢迎下载交流。 分享一个苹果，各得一个苹果，分享一种思想，各得两种思想。分享是件快乐的事件，乐于分享的人，事业更容易成功。 经典资料，WORD文档，可编辑修改，欢迎下载交流。 经典资料，WORD文档，可编辑修改，欢迎下载交流。 Sqoop中文手册 8,455浏览  HYPERLINK "http://www.zihou.me/html/2014/01/28/9114.html" \l "comments" \o "《Sqoop中文手册》上的评论" 1条回复 子猴：Sqoop在我们的实际工作中有一些应用，为了对Sqoop的使用有个更全面的了解，于是我花了一些时间将Sqoop的使用整理成了一份中文手册，我自认还是非常全面的，覆盖到了Sqoop所有的方面。虽然对每一个用法，我都是尽可能地先经过测试然后再得出结论，但可能难免会有谬误，不过总的来说希望能对使用Sqoop的朋友有点帮助吧。 1.???? 概述 本文档主要对SQOOP的使用进行了说明，参考内容主要来自于Cloudera SQOOP的官方文档。为了用中文更清楚明白地描述各参数的使用含义，本文档几乎所有参数使用说明都经过了我的实际验证而得到。 2.???? codegen 将关系数据库表映射为一个java文件、java class类、以及相关的jar包，作用主要是两方面： 1、? 将数据库表映射为一个Java文件，在该Java文件中对应有表的各个字段。 2、? 生成的Jar和class文件在metastore功能使用时会用到。 基础语句： sqoop codegen –connect jdbc:mysql://localhost:3306/hive –username root –password 123456 –table TBLS2 ? 参数说明–bindir <dir>指定生成的java文件、编译成的class文件及将生成文件打包为JAR的JAR包文件输出路径–class-name <name>设定生成的Java文件指定的名称–outdir <dir>生成的java文件存放路径–package-name<name>包名，如nic，则会生成cn和cnnic两级目录，生成的文件（如java文件）就存放在cnnic目录里–input-null-non-string<null-str>在生成的java文件中，可以将null字符串设为想要设定的值（比如空字符串’’）–input-null-string<null-str>同上，设定时，最好与上面的属性一起设置，且设置同样的值（比如空字符串等等）。–map-column-java<arg>数据库字段在生成的java文件中会映射为各种属性，且默认的数据类型与数据库类型保持对应，比如数据库中某字段的类型为bigint，则在Java文件中的数据类型为long型，通过这个属性，可以改变数据库字段在java中映射的数据类型，格式如：–map-column-java DB_ID=String,id=Integer–null-non-string<null-str>在生成的java文件中，比如TBL_ID==null?”null”:””，通过这个属性设置可以将null字符串设置为其它值如ddd，TBL_ID==null?”ddd”:””–null-string<null-str>同上，使用的时候最好和上面的属性一起用，且设置为相同的值–table <table-name>对应关系数据库的表名，生成的java文件中的各属性与该表的各字段一一对应。? 3.???? create-hive-table 生成与关系数据库表的表结构对应的HIVE表 基础语句： sqoop create-hive-table –connect jdbc:mysql://localhost:3306/hive -username root -password 123456 –table TBLS –hive-table h_tbls2 参数说明–hive-home <dir>Hive的安装目录，可以通过该参数覆盖掉默认的hive目录–hive-overwrite覆盖掉在hive表中已经存在的数据–create-hive-table默认是false,如果目标表已经存在了，那么创建任务会失败–hive-table后面接要创建的hive表–table指定关系数据库表名? 4.???? eval 可以快速地使用SQL语句对关系数据库进行操作，这可以使得在使用import这种工具进行数据导入的时候，可以预先