大数据存储-PPT课件 第6章 数据传输工具Sqoop.pptx

数据传输工具——Sqoop;目前很多使用Hadoop技术的企业，仍然有大量的数据存储在传统关系型数据库中。 在开发的过程中总是需要将数据从传统关系型数据库传输到Hadoop中，顺利的传输过程能够确保数据成功存储。 因此数据传输工具的选择是一个非常重要的环节。;某网站的数据库中储存了约30万条用户日志数据，已被导出为CSV格式的文件（law_visit_log_all.csv），文件记录的是用户在网站上的浏览行为信息，包括用户IP、浏览时间、浏览网址类型等信息，具体的字段说明如表所示。 现通过对用户日志数据进行处理，根据浏览器类型进行用户信息分类，实现用户群分，以便研究不同用户群的兴趣特征。 筛选出浏览器类型为“iOS”的用户信息保存至Hive中的表new_law中。 ;现寻求一个方式或工具实现传统关系型数据库与Hadoop之间的数据传输，而Sqoop就是为了满足这一需求而诞生的。 本项目将介绍Sqoop的概念、安装配置和基本使用，结合用户日志数据实例，使用Sqoop实现在Hadoop和关系型数据库之间进行高效的数据传输，先将CSV格式的用户日志数据导入MySQL，再将MySQL数据库中的数据增量导入Hive，最后将Hive中的用户日志信息筛选结果导出至MySQL中。 ;学习Sqoop的工作流程、核心理念和集群搭建过程，根据网站的用户日志数据存储需求安装配置Sqoop集群。 将用户