数据分析与应用实践手册.docx

数据分析与应用实践手册

第1章数据采集与预处理

1.1数据来源与类型

数据来源是数据采集的第一步，通常包括内部系统、外部数据库、第三方API、传感器、问卷调查、社交媒体、交易记录等。例如，在零售行业，数据可能来源于ERP系统、客户交易记录、POS终端、社交媒体平台（如微博、）以及客户反馈表单。数据类型主要包括结构化数据（如数据库中的表格数据）和非结构化数据（如文本、图像、音频、视频）。例如，结构化数据可以是客户订单信息、产品库存数据；非结构化数据则包括客户评论、社交媒体文本、图像文件等。

在数据采集过程中，需明确数据的用途和敏感性。例如，客户个人信息数据需遵循隐私保护法规（如G