数据迁移到MaxCompute的N种方式.PDFVIP

数据迁移到 MaxCompute 的N 种方式 想用阿里云大数据技术服务（MaxCompute ），对于大多数人首先碰到的问题 就是数据如何迁移到 MaxCompute 中。按照数据迁移场景，大致可以分为批量 数据迁移和实时数据迁移两种，下面我们针对每种场景分别介绍几种常用方案。 一、 异构数据源批量数据迁移到 MaxCompute 1、 通过数加-数据开发 （CDP ）做数据同步 i. 开通数加开发环境，数据源需要配置到数加 DataIDE 中，并保证连 通性。 目前MaxCompute 支持的数据源如下图： ii. 创建数据同步任务，配置数据映射 iii. 保存后提交运行，可以通过执行日志监控执行成功与否。 使用限制：数加 DataIDE 中添加的数据源要确保在数据源类型支持列表中， 并且要确保数据源连通性。 2、 通过 DataX 实现数据同步 DataX 是阿里巴巴集团内被广泛使用的异构数据源离线同步工具，致力 于实现包括关系型数据库(MySQL、Oracle 等) 、HDFS、Hive、MaxCompute(原 ODPS)、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。 DataX 本身作为离线数据同步框架，采用 Framework + plugin 架构构建。 将数据源读取和写入抽象成为 Reader/Writer 插件，纳入到整个同步框架中。 目前已经有了比较全面的插件体系，主流的RDBMS 数据库、NOSQL、大数 据计算系统都已经接入。DataX 目前支持数据如下： 使用示例（从 MySQL 读取数据 写入 ODPS ）： i. 直接下载 DataX 工具包，下载后解压至本地某个目录，修改权限为 755。下载地址： /datax.tar.gz ii. 创建作业配置文件 python datax.py -r mysqlreader -w odpswriter iii. 根据配置文件模板填写相关选项 （源和目标数据库的用户名、密码、 URL、表名、列名等），如下图： iv. 启动 DataX 同步任务 python datax.py ./mysql2odps.json 3、 通过 Sqoop 实现数据同步 请参考 /aliyun/aliyun-odps-sqoop 4、 通过 DTS （数据传输）实现数据同步 请参考 /document_detail/26612.html 二、 本地文件上传到 MaxCompute 1、 通过数加 DataIDE 导入本地文件 i. 登陆“数加-数据开发”，点击“导入-导入本地数据”