Hadoop大数据处理技术基础与实践第十章 Sqoop.pptxVIP

;-什么是Sqoop？;1. Sqoop的基本安装;2. Sqoop的配置;修改文件~/.bashrc 或~/.bash_profile 配置环境变量;使用sqoop 的list-databases 命令测试Sqoop 连接MySQL 是否成功： $ sqoop list-databases --connect jdbc:mysql://mysql.server.ip:3306/ --username root -P Enter password:（输入MySQL 中root 用户密码） information_schema employees hiveDB mysql test trucyDB;2. Sqoop的配置;3.Sqoop相关功能;3.Sqoop相关功能; 下面使用bear 用户登录MySQL 数据库，在数据库实例sqoopDB 下创建一张employees表，后面所有的Sqoop 相关操作都在SqoopDB employees 表上进行：;（4）向employees 表中插入3 条数据： mysql INSERT INTO employees(name,age,place,position) VALUES(James,27,NewYork,Manager); mysql INSERT INTO employees(name,age,place,position) VALUES(Allen,30,NewYork,CEO); mysql INSERT INTO employees(name,age,place,position) VALUES(Sharen,33,NewYork,CTO); ;3.Sqoop相关功能-import;3.Sqoop相关功能-import;3.Sqoop相关功能-import-all-tables;3.Sqoop相关功能-import-all-tables;3.Sqoop相关功能-export;3.Sqoop相关功能-list-databases;3.Sqoop相关功能-list-tables;4. Hive、Pig 和Sqoop 三者之间的关系;4. Hive、Pig 和Sqoop 三者之间的关系;Pig 在另一方面充分利用分布式特性，所有操作都基于Hadoop 的固有特性，在处理数据方面，不同处理操作可以根据数据特点编写相应的分布式应用程序，对数据原始结构要求很低。;Sqoop 的主要功能是实现Hadoop 分布式存储平台上的数据与传统关系型数据库中的数据进行迁移操作，如传统的业务数据存储在关系型数据库中，如果数据量达到一定规模后需要对其进行分析或统计，单纯以关系型数据库作为存储采用传统数据技术对数据进行处理可能会成为瓶颈，这时可以将业务数据从关系型数据库中导入（import）到Hadoop 平台进行离线分析。;因此，Hive、Pig、Sqoop 三者之间的关系相辅相成，针对不同的应用需求互为补充。;5.小结;习题