大数据采集技术与应用课件：大数据同步技术-DataX.pptx

;;任务引入1;;教学内容;DataX概念;在大数据时代，数据的特点之一就是多源和异构。

将这些分布在不同企业、不同求职网站上的异构的数据仅仅进行简单的采集是无法进行数据分析的，因为这些来自不同数据源的数据无法实现互通。

因此需要提供一种数据同步的工具，使得多源的数据能够进行互通，从而为今后的数据分析提供基础，而DataX就是这样一种数据同步工具。;DataX3.0的框架设计;为了解决异构数据源同步问题，DataX将复杂的网状的同步链路转换成星型数据链路，DataX作为中间传输载体负责连接各种数据源。

当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，之后可以和已有的数据源做到