sqoop数据导入工具.pptx

Sqoop数据导入工具节知识点掌握程度Sqoop概述Sqoop 简介 了解Sqoop架构了解Sqoop导入导出数据原理 掌握实验环境说明掌握Sqoop1工具使用安装部署 Sqoop1 掌握mysql导入到hdfs掌握HDFS导出到mysql掌握将mysql数据导入到hive掌握Hive数据导出到Mysql掌握Mysql导入到hbase掌握Sqoop2工具使用（可选）安装部署 Sqoop2 掌握客户端使用掌握mysql与hdfs之间互操作掌握本章教学内容本课程的目标是帮助学员掌握Sqoop工具的使用，了解Sqoop工作原理，掌握Sqoop1 的安装配置，能够使用Sqoop1进行mysql与hdfs、hbase、hive之间的数据导入导出课程目标Sqoop概述Sqoop1工具使用课程内容Sqoop 即 SQL to Hadoop ，是一款方便的在传统型数据库与 Hadoop 之间进行数据迁移的工具，充分利用 MapReduce 并行特点以批处理的方式加快数据传输，发展至今主要演化了二大版本，Sqoop1 和 Sqoop2。Sqoop 工具是 hadoop 下连接关系型数据库和 Hadoop 的桥梁，支持关系型数据库和 hive、hdfs、hbase 之间数据的相互导入，可以使用全表导入和增量导入。 Sqoop 简介 高效可控的利用资源，任务并行度，超时时间。数据类型映射与转化，可自动进行，用户也可自定义支持多种主流数据库，MySQL,Oracle，SQL Server，DB2 等等 Sqoop 优势Sqoop1 架构 Sqoop导入与导出在导入开始之前，Sqoop使用JDBC来检查将要导入的表,检索出表中所有的列以及列的SQL数据类型,这些SQL类型（VARCHAR、INTEGER）被映射到Java数据类型（String、Integer等）,在MapReduce应用中将使用这些对应的java类型来保存字段的值。Sqoop的代码生成器使用这些信息来创建对应表的类，用于保存从表中抽取的记录。JDBC的ResultSet接口提供了检索记录的游标Sqoop启动的MapReduce作业,在生成反序列化代码和配置InputFormat之后，Sqoop将作业发送到MapReduce集群。Map任务将执行查询并将ResultSet中的数据反序列化到生成类的实例,写入到HDFS中。Sqoop从数据库导入到HDFS的原理Sqoop在执行导出操作之前，sqoop会根据数据库连接字符串来选择一个导出方法，一般为jdbc。sqoop会根据目标表的定义生成一个java类，这个生成的类能够从文本文件中解析记录，并能够向表中插入类型合适的值。接着会启动一个MapReduce作业，从HDFS中读取源数据文件，使用生成的类解析记录，并且执行选定的导出方法。Sqoop从HDFS导出到数据库的原理操作系统：Ubuntu16.04 ServerJDK版本：1.8Hadoop版本： 2.7.2Sqoop版本：sqoop-1.4.6 sqoop-1.99.7实验环境说明Sqoop概述Sqoop1工具使用课程内容下载 Sqoop/apache/sqoop//apache/sqoop/解压安装包tar -xzvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gzmv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop-1.4.6安装部署 Sqoop1 在.profile中配置环境变量export HADOOP_HOME=/home/hadoop/hadoop-2.7.2export? SQOOP_HOME=/home/hadoop/sqoop-1.4.6export? ZOOKEEPER_HOME=/home/hadoop/zookeeper-3.4.6export HIVE_HOME=/home/hadoop/hive-1.2.1export HBASE_HOME=/home/hadoop/hbase-1.2.4export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$SQOOP_HOME/bin:$HIVE_HOME/bin:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin设置环境变量在sqoop配置目录中复制sqoop-env-template.sh文件为?sqoop-env.sh将hadoop的hadoop-common-2.7.2.jar包文件复制到sqoop的lib目录下将Java的MySQL连接器mysql-connector-java-5.1.39-bin.jar包文件复制到Sqoop的lib目录下复制文件修改sqoop-en