人工智能行业算法部工程师机器学习操作手册.docxVIP

行业算法部工程师机器学习操作手册

第1章基础数据治理与准备

1.1数据接入与清洗策略

在数据接入阶段，工程师需部署基于Kafka或Flink的实时流处理引擎，确保传感器数据、用户行为日志及交易记录以毫秒级延迟同步至本地数据湖。针对异构数据源（如MySQL关系库、NoSQL文档库及CSV文件），建立统一的数据映射层（DataMappingLayer），将不同格式的数据转换为标准的Parquet或ORC格式，消除字段名不匹配导致的读取错误。

实施全量历史数据与增量实时数据的并行清洗流程，利用PythonPandas库对缺失值进行逻辑填充（如用中位数