TDH大数据平台培训_第05讲_分布式ETL工具Sqoop.pdfVIP

下载本文档

44
0
约1.37万字
约 21页
2022-06-12 发布于天津
举报
版权申诉

TDH大数据平台培训_第05讲_分布式ETL工具Sqoop.pdf

1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
7、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

TDH大数据平台培训_第05讲_分布式ETL工具Sqoop

分布式 E T L 工具S q o o p 范颖捷 | 2018.04 星环科技星环科技 1 Sqoop原理目录 CONTENTS 2 Sqoop使用 1 chapter Sqoop原理  基本概念  版本  数据导入  数据导出 1.1 Sqoop基本概念 Sqoop原理  Sqoop项目始于2009年，早期为Hadoop的第三方模块，后来成为Apache的独立项目  Sqoop是一个主要在Hadoop和关系数据库之间进行批量数据迁移的工具 •Hadoop ：HDFS 、Hive 、HBase • 面向大数据集的批量导入导出－将输入数据集分为N个切片，然后启动N个Map任务并行传输 • 支持全量、增量两种传输方式  提供多种Sqoop连接器 • 内置连接器－经过优化的专用RDBMS连接器：MySQL 、PostgreSQL 、Oracle、DB2 、SQL Server、Netzza等－通用的JDBC连接器：支持JDBC协议的数据库 • 第三方连接器－数据仓库：Teradata －NoSQL数据库：Couchbase 星环科技 1.2 Sqoop版本 Sqoop原理  Sqoop 1与 Sqoop 2的区别 • 二者完全不兼容，无法平滑升级 Sqoop 1 Sqoop 2 版本号 1.4.x （1.4.7） 1.99.x （1.99.7）系统架构仅使用一个Sqoop客户端引入Sqoop Server，集中管理连接器访问方式 CLI CLI、REST API 、JAVA API 、WEB 安全机制命令中指定用户名、密码基于角色的安全机制 RDBMS连接器经过优化的专用连接器，速度较快通用的JDBC连接器，性能下降 RDBMS  Hive/HBase 直接导入不直接导入，先存入HDFS Hive/HBase  RDBMS 不直接导出，先存入HDFS 不直接导出，先存入HDFS 星环科技 1.2 Sqoop版本 Sqoop原理  Sqoop 1优缺点 • 优点－架构简单－部署简单－功能全面