省级农业资源信息系统属性数据标准化方案探讨.pdfVIP

澎 雇矸学 第56~-2015年第3期 圜 文献著录格式 ：胡为群 ，祝利莉 ，叶少挺 ，等．省级农业 资源信 息系统属性数据标准化方案探讨 [J]．浙江农业科学 ，20l5，56 (3) 425—428． DOI： 10．16178／j．issn．0528-9017 省级农业资源信息系统属性数据标准化方案探讨 胡为群 ，祝利莉 ，叶少挺 ，彭一辉 ，郑可锋 (浙江省农业科学院 数字农业研究所，浙江 杭州 310021) 摘 要 ：农业资源属性数据来源于诸多部 门，在将其输入存储到计算机系统之前 ，需要对数据进行标准化 处理。根据浙江省和广西壮族 自治区农业资源信息系统建设 中遇到的问题，对属性数据标准化过程及数据标准 化处理 中数据编码 ，行政代码添加 ，缺失数据 、噪声数据 、重复数据 的处理，数据转换和验证等关键技术进行 探讨 。 关键词 ：信息系统；农业资源 ；属性数据 ；标准化 中图分类号：S126 文献标志码 ：A 文章编号：0528—9017(2015)03—0425—03 农业资源是农业生产的物质基础。农业资源信 一 处理。使用统一的数据字典将数据表字段意义进 息系统的开发与应用是实现资源高效利用、科学规 行统一定义。 划和可持续发展的有效途径。利用先进 的信息技术 1．2 数据审查 和科学方法，可 以为农业资源的合理配置、高效利 检查数据的数量 (记录数)是否满足分析 的 用和宏观决策提供依据 ¨。农业资源信息系统通 最低要求 ，字段值的内容与调查要求是否一致 ，是 常涉及的属性数据主要包括土地资源、水资源、气 否全面。此外 ，利用描述性统计分析 ，检查各个字 候资源 、农业经济资源 、人 口与劳动力资源等 5个 段的字段类型、字段值的最大值、最小值、平均 方面的数据 。这些数据可能因调查过程 中的工作失 数、中位数等 ，记录个数 、缺失值或空值个数等。 误 、地区问或年度问统计 口径不一致 、抽样方法或 1．3 数据清理 者测量方法不同等因素存在误差或量纲不一致 ；也 针对数据审查过程 中发现的明显错误值、缺失 可能会在数据收集 、录入 、转换过程中出现错误导 值 、异常值 、可疑数据 ，选用适 当的方法进行 致缺失、重复甚至错误。因此，在将采集到的农业 “清理”，使 “脏”数据变为 “干净”数据 ，以便 资源信息属性数据输入存储到计算机系统之前，必 后续的统计分析及预测分析能够得出可靠 的结果。 须对其进行标准化处理，本文拟对此进行方案 当然 ，数据清理还包括对重复记录进行 的鉴别与 探讨 。 删除。 1．4 数据转换 1 属性数据标准化过程 数据分析强调分析对象的可 比性 ，但不同字段 概括来讲 ，属性数据标准化处理的过程包括 ： 值 由于统计 口径 、计量单位等不同，往往会造成数 数据生成 、数据审查 、数据清理 、数据转换和数据 据不可比。对一些统计指标进行综合评价时 ，如果 验证等 5大步骤 。 统计指标的性质 、计量单位不同，也容易引起评价 1．1 数据生成 结果出现较大误差，再加上分析过程中的其他一些 将采集的数据统一采用格式化文本的数据存储 要求 ，因此需要在分析前对数据进行相应转换。 方法 ，统一数据字段 ，将所有相 同意义字段的字段 1．5 数据验证