Azure数据工厂：与Azure机器学习的集成教程.docxVIP

PAGE1

PAGE1

Azure数据工厂：与Azure机器学习的集成教程

1Azure数据工厂概述

AzureDataFactory(ADF)是一个云端数据整合服务，用于创建和调度数据驱动的工作流。这些工作流可以摄取、转换、加载和编排数据，从而实现从多个数据存储中提取数据，进行数据转换，最后将数据加载到目标数据存储的ETL（Extract,Transform,Load）过程。ADF支持多种数据源，包括但不限于AzureSQLDatabase、AzureCosmosDB、AzureBlobStorage、AzureDataLakeStorage、SQLServer、OracleDatabase等。

1.1主要功能

数据摄取：从各种数据源中提取数据。

数据转换：使用预置的转换活动或自定义的.NET或Python代码进行数据转换。

数据加载：将转换后的数据加载到目标数据存储。

数据编排：创建和管理数据驱动的工作流，包括触发器、管道和活动。

监控和管理：提供工具来监控和管理数据工厂的运行状态和性能。

2Azure机器学习服务简介

Azure机器学习服务是Microsoft提供的一套全面的机器学习平台，旨在简化机器学习的整个生命周期，从数据准备、模型训练、模型部署到模型管理。它支持自动化的机器学习流程，以及使用Python、R、Scala等语言进行自定义的模型训练。

2.1主要组件

Azure机器学习工作室：一个基于Web的界面，用于数据探索、模型训练和部署。

计算实例和计算集群：用于模型训练的计算资源。

模型注册和管理：用于存储、版本控制和管理模型的注册表。

模型部署：将模型部署为Web服务，以便在生产环境中使用。

3集成的必要性和优势

将AzureDataFactory与Azure机器学习服务集成，可以实现数据的自动化处理和机器学习模型的自动化训练和部署，从而提高数据处理和模型开发的效率。这种集成的主要优势包括：

数据自动化处理：ADF可以自动处理和准备数据，为机器学习模型提供干净、格式化的数据。

模型自动化训练和部署：一旦数据准备好，可以自动触发机器学习模型的训练和部署，无需人工干预。

资源优化：通过集成，可以更有效地管理计算资源，避免资源浪费。

流程自动化：整个数据处理和模型开发流程可以自动化，提高效率和减少错误。

3.1实例：使用ADF触发机器学习模型训练

假设我们有一个存储在AzureBlobStorage中的数据集，我们希望使用这个数据集来训练一个机器学习模型。我们可以使用ADF来自动化这个过程。

3.1.1数据集

数据集是一个CSV文件，包含以下列：

Id

Age

Income

SpendingScore

CustomerSegment

Id,Age,Income,SpendingScore,CustomerSegment

1,35,60000,75,2

2,40,80000,80,3

3,25,40000,60,1

3.1.2ADF管道

在ADF中，我们创建一个管道，该管道包含以下活动：

CopyActivity：从AzureBlobStorage复制数据到AzureSQLDatabase。

HDInsightSparkActivity：使用Spark进行数据预处理，例如缺失值处理、数据类型转换等。

ExecutePythonScriptActivity：执行Python脚本来触发Azure机器学习服务中的模型训练。

3.1.3Python脚本

#导入必要的库

fromazureml.coreimportWorkspace,Dataset,Experiment

fromazureml.train.automlimportAutoMLConfig

#加载工作空间

ws=Workspace.from_config()

#加载数据集

dataset=Dataset.get_by_name(ws,name=CustomerData)

#创建自动机器学习配置

automl_config=AutoMLConfig(task=classification,

primary_metric=accuracy,

training_data=dataset,

label_column_name=CustomerSegment,

n_cross_validations=5)