Azure Data Factory：使用Copy活动迁移数据.docxVIP

PAGE1

PAGE1

AzureDataFactory：使用Copy活动迁移数据

1AzureDataFactory：使用Copy活动迁移数据

1.1AzureDataFactory概述

AzureDataFactory(ADF)是一个云端数据整合服务，用于创建和调度数据驱动的工作流。这些工作流可以摄取、处理、存储和分析数据，从而实现从不同的数据存储中迁移和转换数据。ADF提供了一个无服务器的环境，允许用户通过图形界面或编程方式设计数据管道，以满足各种数据整合需求。

1.1.1主要特性

无服务器架构：用户无需管理底层基础设施，可以专注于数据管道的设计和优化。

丰富的连接器：支持多种数据存储，如AzureBlobStorage、AzureSQLDatabase、AzureCosmosDB、AmazonS3、OracleDatabase等。

数据迁移：使用Copy活动可以高效地迁移数据，支持跨不同数据存储的直接数据传输。

数据转换：通过使用MappingDataFlow和WranglingDataFlow活动，可以对数据进行复杂的转换和清洗。

监控和管理：提供详细的监控和日志记录，便于跟踪数据管道的执行状态和性能。

安全性：支持AzureActiveDirectory(AAD)身份验证，确保数据管道的安全性和合规性。

1.2Copy活动的基本概念

Copy活动是ADF中用于数据迁移的核心组件。它能够从源数据存储读取数据，并将其写入到目标数据存储，同时可以进行数据格式的转换。Copy活动支持多种数据存储，并且可以配置数据压缩、数据过滤等高级功能。

1.2.1工作流程

源数据读取：Copy活动从源数据存储读取数据，可以是文件、数据库表或视图。

数据转换：在数据迁移过程中，可以配置数据类型转换、列映射和数据压缩。

目标数据写入：将转换后的数据写入到目标数据存储，可以是不同的文件格式或数据库表。

性能优化：通过配置并发度和数据流速度，可以优化数据迁移的性能。

1.2.2示例：从AzureBlobStorage复制数据到AzureSQLDatabase

假设我们有一个AzureBlobStorage中的CSV文件，需要将其数据复制到AzureSQLDatabase的一个表中。

创建数据集

首先，我们需要在ADF中创建两个数据集，分别代表源数据存储（AzureBlobStorage）和目标数据存储（AzureSQLDatabase）。

{

name:BlobDataset,

properties:{

type:AzureBlob,

linkedServiceName:{

referenceName:AzureBlobStorageLinkedService,

type:LinkedServiceReference

},

typeProperties:{

fileName:data.csv,

folderPath:input/,

format:{

type:DelimitedTextFormat,

columnDelimiter:,,

firstRowAsHeader:true

}

}

}

}

{

name:SQLTableDataset,

properties:{

type:AzureSqlTable,

linkedServiceName:{

referenceName:AzureSQLDatabaseLinkedService,

type:LinkedServiceReference

},

typeProperties:{

tableName:dbo.TargetTable

}

}

}

创建Copy活动

接下来，创建一个Copy活动，指定源数据集和目标数据集。

{

name:CopyBlobToSQL,

properties:{

type:Copy,

inputs:[