- 0
- 0
- 约2.09千字
- 约 8页
- 2026-11-18 发布于北京
- 举报
数据清洗,到底在洗什么?
新系统接入第一天,中台算出的交易额比子公司财务多了83万元,而每一条数据的格式都“很干净”。数据清洗洗的不是“脏”,而是数据和业务含义之间的偏差。读完这篇,你能分清清洗要处理的四类问题,并写出一条有依据、可核对的清洗规则。
01
—
多出来的83万,是从哪来的?
集团刚并入一家子公司B(模拟),它的交易系统第一天接入中台。早上的经营看板一出来,子公司财务就打来电话:“我们昨天的交易额是1203万,你们怎么显示1286万?”
开发先查格式:日期统一了,金额换算成了元,商户名称前后的空格也去掉了,看不出任何“脏数据”。
项目
情况(模拟)
接入对象
子公司B的交易流水表
统计范围
昨日0:00—24:00的交易
接入条数
52,380条
中台交易额
1286万元
子公司财务交易额
1203万元
差额
83万元
逐条比对之后,83万拆成了三块:
网络超时后系统自动重发,同一笔交易记了两次:214条,31万元。
商户号以“TEST”开头的测试交易:86条,12万元。
状态码为“9”的交易,在B的系统里表示“已冲正”,也就是交易已被撤销:157条,40万元。
这三类数据格式完全合法,问题在于它们不该被算进“交易额”。
02
—
清洗的对象:数据和业务含义之间的偏差
数据清洗,是按照业务规则,把源数据中不符合使用要求的部分识别出来,再做修正、标记、剔除或隔离的过程。
原创力文档

文档评论(0)