数据分析师实战手册.docxVIP

数据分析师实战手册

第1章数据准备与清洗实战

1.1数据源接入与格式标准化

在数据分析师的实战起点，首先需要解决“数据在哪里”以及“数据长什么样”的问题。以连接Hadoop集群的HDFS存储为例，数据源接入的第一步是编写基于HDFS的Shell脚本（如`hdfsdfs-get`），将本地服务器上的CSV文件批量拉取至集群，此时需确保网络带宽充足且文件命名规范（如`project_id_date.csv`），避免路径冲突。接入完成后，数据往往以非结构化或半结构化的文本形式存在。例如，从Excel导出的原始数据中，列名可能包含空格或乱码，单元格可能包含合并单元格或隐藏格式。因此，必须使用Python的`pandas`库配合`openpyxl`或`xlsxwriter`库，先读取文件，再使用`df.columns=df.columns.str.strip()`去除列名中的空格，并统一将日期格式从`YYYY-MM-DD`转换为`YYYY-MM-DD`，确保后续处理的一致性。针对数据源可能存在的分区问题，若原始数据包含`region`或`time`等分区字段，必须在清洗阶段将其作为列名保留，否则会导致数据维度错误。例如，在读取金融交易数据时，若未识别`date`字段，后续按天聚合分析时将完全失效。标准化