大数据应用与发展手册.docx

大数据应用与发展手册

第1章数据采集与处理

1.1数据来源与类型

数据来源可以是多种多样的，包括结构化数据、非结构化数据、实时数据、历史数据等。结构化数据如数据库中的表格数据，非结构化数据如文本、图片、视频等，实时数据如物联网传感器数据，历史数据如企业ERP系统中的记录等。常见的数据来源包括企业内部系统、第三方平台、社交媒体、物联网设备、政府公开数据、用户行为日志等。例如，电商平台的用户行为数据、社交媒体的用户评论数据、智能家居设备的传感器数据等。

数据类型可以分为结构化数据（如数据库表中的字段）、半结构化数据（如XML、JSON格式）、非结构化数据（如PDF、图片、视频）等。