大数据应用与处理技术手册.docx

大数据应用与处理技术手册

第1章数据采集与预处理

1.1数据来源与类型

数据来源是数据采集过程中的起点，主要包括结构化数据、非结构化数据、实时数据和历史数据等。结构化数据如数据库中的表格数据，非结构化数据如文本、图片、视频等，实时数据如传感器采集的实时监控数据，历史数据则来自过往的业务系统或数据库。数据来源可以来自内部系统（如ERP、CRM）或外部系统（如第三方API、物联网设备、社交媒体平台）。不同来源的数据具有不同的格式、编码和结构，需在采集前进行统一处理。

常见的数据来源包括：

（1）数据库（如MySQL、Oracle）

（2）API接口（如RESTfulAPI