数据岗位考核试题及答案 及答案.docxVIP

数据岗位考核试题及答案及答案

一、数据清洗与预处理

1.某电商平台用户行为数据表（user_behavior）包含字段：user_id（用户ID）、item_id（商品ID）、behavior_type（行为类型，1-点击，2-收藏，3-加购，4-购买）、timestamp（时间戳，单位秒）、category_id（商品类目ID）。现需对该表进行数据清洗，已知存在以下问题：

-约5%的记录中timestamp字段值为0或负数；

-部分user_id对应记录的behavior_type同时存在1、2、3、4，但同一user_id+item_id组合下出现超过3次相同behavior_type（如用户A对商品B点击5次）；

-category_id字段存在大量缺失值（缺失率35%）。

要求：

（1）分析timestamp异常值的可能原因及处理方式；

（2）说明对重复行为记录的清洗策略及判断依据；

（3）设计category_id缺失值的填补方案，并说明选择该方案的理由。

答案：

（1）timestamp异常值（0或负数）可能原因为：①数据采集时设备或接口故障导致时间戳未正确记录；②测试数据未过滤，残留无效时间；③用户行为触发时系统时钟异常（如时区错误）。处理方式：优先核对日志系统或服务器时间记录