大数据应用案例分析手册.docx

大数据应用案例分析手册

第1章数据采集与处理

1.1数据来源与类型

数据来源可以是结构化数据、非结构化数据、实时数据、历史数据等多种类型。结构化数据如数据库中的表格数据，非结构化数据如文本、图像、音频、视频等，实时数据如传感器采集的数据，历史数据如用户行为日志、交易记录等。在实际应用中，数据来源通常来自多个渠道，如企业内部系统、第三方平台、物联网设备、社交媒体、政府公开数据等。例如，电商平台的用户行为数据可能来自用户注册、浏览、购买等行为，而社交媒体数据则来自微博、、抖音等平台。

数据来源的多样性决定了数据的丰富性，但也带来了数据质量、一致性、完整性等问题。例如，来自不同渠道的