数据采集与分析手册.docxVIP

数据采集与分析手册

第1章数据采集基础与规范

1.1数据采集的定义与分类

数据采集是指系统地、有目的地从各种来源（如传感器、网络、数据库、人工输入等）获取原始数据或结构化信息的完整过程，它是大数据分析、训练及商业决策的基石。其核心在于将非结构化的原始信号转化为机器可识别、可计算的数据格式。在分类维度上，数据采集主要依据数据形态分为结构化数据（如SQL表格中的数值）、半结构化数据（如JSON/XML中的键值对）和非结构化数据（如图片、音频、视频、日志文本等）；依据数据来源则分为内部数据（企业自建系统）和外部数据（第三方API、公开数据库）。

数据采集通常分为实时流式采集（