大数据时代急数据质量治理研究.doc

● 郭路生，刘春年（南昌大学 管理学院，江西 南昌 330031） 大数据时代应急数据质量治理研究( Research on quality governance of emergency data in the big data era 摘要：[目的/意义] 为了解决大数据时代应急数据质量问题，支撑基于大数据的应急管理和智能决策。[方法/过程] 首先定义了应急数据质量维度,然后分析了应急数据质量的现状和原因;重点探讨了应急数据治理的措施。[结果/结论] 应急信息环境是一种复杂的大数据环境，数据质量低下，需要采用与大数据特点相适应的治理措施。在管理上，需要提高战略认识，建立大数据治理的组织、机制和标准，采用全生命周期的质量管控方法；在技术上，采用适应大数据的EA管控、元数据管理、主数据管理和数据质量监控等手段。 关键字：数据质量；数据治理；大数据；EA；元数据管理；主数据管理 Abstract：[Purpose/Significance ] To solve the problem of emergency data quality in big data era, support the emergency management and intelligent decision based on big data. [Method/Process] First, Dimension of emergency data quality is defined, then the present situation and cause of emergency data quality are analyzed, and the measures of emergency data governance are discussed. [Result/Conclusion] The emergency information is a complex big data environment, the data quality is low, and it needs to adopt the measures of data governance which fit the characteristics of big data. In management, need to improve data quality consciousness, to establish the organization, mechanism and standard of big data governance, and to use the quality control method in whole data life cycle; in technology, need to use EA control, metadata management, MDM, data quality monitoring and other means which fit to the big data environment. Key words： data quality；data governance；big data; EA; meta data manage; MDM; 1引言 应急信息环境是一种跨部门、复杂的信息环境。随着计算机技术和网络技术在应急领域的广泛使用，产生了海量的监测与监控信息、事件信息、交互信息、地理信息，这些数据已达到PB级别；同时具有突发性、异构性、分布式、动态性、及时性、不完全性等特点，符合大数据的特征，是一种典型的大数据。大数据技术的兴起为基于大数据的应急管理和智能决策提供了可能[1,2]，然而数据质量问题却成了大数据应用的“拦路虎”。没有高质量的大数据将对决策产生误导，甚至产生有害结果。据估算，数据错误每年造成美国工业界经济损失约占GDP的6%，98000名患者丧生，50%的数据仓库因数据质量而取消或延迟[3]。高亮认为：“数据治理是保证数据质量的必需手段，从全球范围来看，加强数据治理提升数据质量已成为企业提升管理能力的重要任务[4]”。因此研究大数据时代应急数据质量治理具有重要的意义。宗威认为数据质量是有效分析和利用大数据的前提，大数据时代给数据质量的保证提出了新的挑战[5]。王宏志认为由于大数据具有规模大、速度快和多样性的特点，现有的方法难以适用于大数据质量治理，并提出大数据清洗的技术方案[3]。胡志伟”[8]。用户需求不同，数据质量的要求也不同。应急管理需要跨部门、跨警种的业务协同，需要跨部门的信息集成共享，为了实现信息的集成共享，对数据质量的规范性、一致性、唯一性和完整性有较高的要求；突发事件具有突发