关于农经云农产品价格数据清洗的研究.pdfVIP

信息通信2023年第09期

(总第249期)

关于农经云农产品价格数据清洗的研究

吴海，彭雪昶

（贵州省气象局，贵州贵阳550001）

摘要：以农经云数据中心100个农产品市场价格数据为实验数据，分析研究数据清洗的流程和方法，重点研究数据缺失

值的处理方法，异常值的查找算法和填充方法，通过去重、缺失值、异常值处理和数据的标准化处理等数据清洗工作，得

到100个品种连续、可用和标准化的农产品市场价格数据。

关键词：数据清洗；缺失值处理；价格数据

中图分类号：TP309文献标识码：A文章编号：2096-9759(2023)09-0166-03

1背景3数据清洗方法研究

农经云是贵州省委省政府实施大数据战略行动，开展云3.1数据去重

工程建设的基础云工程之一，核心功能就是汇聚农经数据，为首先对数据中心进行数据查重，按照同一市场同一产品

贵州的大数据提供基础数据支撑。农经云数据中心汇集了来在同一天出现相同数据为重复标记方式进行查找重复数据。

自全省各县的农产品的价格数据，监测着全省各县农产品市不同的数据库查重方式不一样，但逻辑都一样，根据需要查重

场共计297个，农产品数据采集品种共计266个，目前数据中的字段分组，然后判断分组数大于1的既表示重复数据，以Or-

心积累了近20年来的农产品价格数据量1900余万条，其中acle数据库为例，主要利用先groupby（重复字段)havingcount

批发价格数据830余万条，零售价格数据1100余万条；批发价格(重复字段)1即可。然后对查出的重复数据进行数据处理，

数据时间从2002-10-01到至今；零售价格数据时间从2001-01-02

重复数据的处理方式是对重复数据进行删除并保留一条。

至今。3.2缺失值处理

随着业务的发展和数据的不断沉淀，在数据采集过程中，

对缺失值处理的研究通常来讲就是对填充方法的研究。

有不少市场的调整和变更，很多农产品品种的更新和迭代，以及

填充方法也很多，各有各的优势和缺点，常见的有人工填充、

市场采集人员质量的差异，导致部分数据标准不同一，存在重复

特殊值填充、均值填充、热卡填充（Hotdeckimputation）、聚类

数据、异常数据、数据缺失和市场名称产品名称跟价格数据对不填充(clusteringimputation)、可能值填充（AssigningAllPoss-

上等多种数据异常情况。为了能提供精准的农产品价格数据，

iblevaluesoftheAttribute）、组合完整化方法（Combinatorial

对农产品市场行情有比较精准的监测，制作更加精准农产品价

Completer）、回归填充(Regression）、极大似然估计（MaxLikeli-

格报告和提供第三方服务，保障数据的统一性、有效性、真实性、

hood,ML）、多重插补(MultipleImputation,MI)。这里挑选几

可用性和连续性，本次研究将从已汇集的农产品价格数据中抽

个流行