大数据课程与资源手册（执行版）.docx

大数据课程与资源手册（执行版）

第1章数据采集与处理

1.1数据来源与类型

数据来源可以是结构化数据（如数据库、关系型系统）与非结构化数据（如文本、图像、音频、视频等）。在大数据应用中，数据来源通常包括传感器、日志文件、用户行为数据、社交媒体、交易记录、物联网设备等。数据类型主要包括结构化数据（如表格、关系型数据库）、半结构化数据（如JSON、XML）、非结构化数据（如文本、图片、视频）以及实时数据（如流数据）。

在实际应用中，数据来源往往来自多个渠道，例如企业内部系统、第三方API、用户终端、社交媒体平台等。数据采集需要考虑数据的完整性、准确性、时效性及安全性。常见的数据采集