基于二进制编码ERP数据质量研究.docVIP

基于二进制编码ERP数据质量研究 　　摘 要: 为了快速、高效地评估和解决ERP系统的数据质量问题,提出一种基于二进制编码方式的数据质量评估方法。通过在二进制级别进行概率估计与编码,有效地降低了计算机对数据处理时所面临的复杂度问题,提高了运算效率,能有效缩短评估所耗的计算时间。在计算结果的基础上,建立隐马尔科夫模型,并根据ERP系统的实际业务需要,对此模型进行了合理的修改优化。运用此模型对ERP系统中数据质量问题进行了概率统计和预测,最终在短时间内提供直观准确的数据质量评估结果,并对未来数据质量情况进行了客观的预测。 　　关键词:二进制编码; 隐马尔科夫模型; 数据质量评估模型; ERP 　　中图分类号:TP311文献标识码:A 　　文章编号:1004-373X(2010)08-0059-03 　　 　　Research on ERP Data Quality Assessment Based on Binary Coding 　　WANG Zhi-yong 　　(Maton Information Technology Service (Tianjin) Co. Ltd., Tianjin 300051, China) 　　Abstract: A data quality assessment model and its solution algorithm based on binary coding mode is proposed in order to assess and solvethe ERP system data quality issues quickly and efficiently. The probability estimation and coding of data on binary level can reduce the complexities faced with the data processing and the time of the estimation. Hidden Markov model based on the results of the calculation was estallished. According to the actual business needs, this model can be amended and optimized to perform the probability statisticsand forecast for the data quality issues in ERP systems. The visual and accurate results of the data quality assessment can be provided in a short time and also its forecast presented. 　　Keywords: binary coding; hidden Markov model; data quality assessment model; enterprise resource planning 　　 　　数据质量是ERP(Enterprise Resource Planning)系统能否有效发挥作用的关键,对数据质量进行评估能帮助企业准确地了解数据的内容、质量和结构,所以数据质量评估是第一个要解决的问题。但评估时如果没有统一的参照,会使评估具有很大的主观性和不可度量性,这是由于对数据进行质量评估时参照标准是难以完美表达的[1]。 　　本文在数据概化(data profiling)、数据审计(data auditing)等方法的基础上,首先采用数理统计的方法对数据的分布进行概化(Profiling),然后对抽样数据进行二进制编码,建立隐马尔科夫模型,从而提高了计算机的执行效率[2]。通过抽取样本能够准确反映出当前数据质量情况,同时能够对未来数据质量情况进行预测,降低数据质量问题的风险,最后提出一种基于二进制编码的数据质量评估模型。 　　1 数据质量问题 　　1.1 广义数据质量的概念 　　在相当长的时间内,数据质量的概念主要指在数据生产过程中形成的“质量”,如精度、一致性、完整性等,也称本征质量。随着数据资源的积累与广泛应用,数据质量的概念有所扩展。对用户要求的满意程度也已成为衡量数据质量的重要指标。在这种意义上,数据质量可以说是满足使用要求的相对状态。这就是广义数据质量,要点是从用户或数据共享的角度来描述数据质量[3]。除本征质量外,可得性、满足用户要求的程度、表达的是否清晰易懂以及动态质量等也成为衡量数据质量的重要方面。