Sqoop数据导入导出.pptx

郑美容 01目录Sqoop将数据导入到hdfs02Sqoop将数据导出到Mysql中 Sqoop数据导入导出1 Sqoop将数据导入到hdfs1.在Linux本地新建/data/sqoop2目录mkdir -p /data/sqoop2切换到/data/sqoop2目录下将buyer_log文件放在此目录下。2. 开启mysql服务service mysql start3.开启mysql(密码：strongs)mysql -u root -p Sqoop将数据导入到hdfs4.创建数据库mydb，并使用mydb数据库。create database mydb; use mydb;5.在mydb数据库中创建表recordcreate table record(id varchar(100), buyer_id varchar(100),dt varchar(100),ip varchar(100),opt_type varchar(100)); Sqoop将数据导入到hdfs6.将Linux本地/data/sqoop2/buyer_log里的内容，导入的mydb数据库record表中load data infile /data/sqoop2/buyer_log into table record fields terminated by \t;7.查看record表中内容select * from record; Sqoop将数据导入到hdfs8.另开一个窗口，使用Sqoop查看Mysql中的数据库。此步目的是检查Sqoop以及Mysql是否可以正常使用。sqoop list-databases \ --connect jdbc:mysql://localhost:3306/ \ --username root \ --password strongs9.使用Sqoop查看Mysql中的表 (在jdbc连接字符串中添加了数据库的名称。用于直接访问数据库实例)。sqoop list-tables \ --connect jdbc:mysql://localhost:3306/mydb \ --username root \ --password strongs Sqoop将数据导入到hdfs10.使用Sqoop将Mysql中mydb数据库record表里的数据导入到HDFS/mysqoop2目录里。（HDFS上的/mysqoop2目录，不需要提前创建）。sqoop import \ --connect jdbc:mysql://localhost:3306/mydb \ --username root \ --password strongs \ --table record -m 1 \ --target-dir /mysqoop211.查看HDFS上/mysqoop2目录下的文件内容Hadoop fs -ls /mysqoop2hadoop fs -cat /mysqoop2/part-m-00000 Sqoop将数据导出到Mysql中1.开启Hive,在Hive中创建hiverecord表，包含（id,buyer_id,dt,ip,opt_type）五个字段，字符类型均为varchar(100)，分隔符为‘\,’2.在linux命令行下，使用Sqoop将Mysql中record表导入Hive中。sqoop import \ --connect jdbc:mysql://localhost:3306/mydb?characterEncoding=UTF-8 \ --username root \ --password strongs \ --table record \ --hive-import \ --hive-table hiverecord \ --fields-terminated-by , -m 1 Sqoop将数据导出到Mysql中在hive下,查看Hive中hiverecord表。select * from hiverecord; 使用Sqoop将Hive表hiverecord表中的数据，导出到Mysql中的recordfromhive表中。4.首先在Mysql中创建表recordfromhive。create table recordfromhive like record; 在linux命令行下，使用sqoop开始导数据。sqoop export \ --connect jdbc:mysql://localhost:3306/mydb?characterEncoding=UTF-8 \ --username root \ --password strongs