数据分析技术与方法手册.docxVIP

数据分析技术与方法手册

第1章数据基础与预处理

1.1数据类型与数值特征

数据类型是数据预处理的第一步，它决定了数据在存储、计算和可视化中的底层逻辑。在Python环境中，我们可以使用`pandas`库的`dtype`属性来查看和转换数据类型，例如将字符串列`[Alice,Bob]`转换为数值型`[1,2]`以便后续进行统计运算，或者将整数列`[100,200]`统一转换为浮点数`[100.0,200.0]`以保留小数精度。数值特征的质量直接决定了统计分析的准确性。在分析用户行为数据时，如果某个连续数值列（如次数）存在大量重复值（如`[1000,1000,1000]`），这会导致均值和方差计算失真，因此必须首先识别并处理重复值。

数据类型转换需遵循“先定性后定量”的原则。例如，在处理电商订单数据时，商品名称列可能包含“iPhone15ProMax、“iPhone15Pro和iPhone15，这些是定性描述，不能直接参与价格计算或销量分析，必须先通过`str.lower().replace()`等方法清洗为统一格式的文本，再剥离出对应的商品编码进行数值处理。数值特征中常见的缺失值有两种形态：一类是数值为0（如销售额为0表示无交易），另一类是数值缺失（如次数为空字符串）。区分这两类对于后续处理至关重要，因为