大数据处理流程中的数据质量影响分析.docVIP

大数据解决流程中的数据质量影响分析 作者：莫祖英 来源：《当代情报》第03期 ????〔摘要〕大数据的规模性、高速性和数据来源的多样性，使数据更可能产生不一致和冲突，这会造成大数据质量问题。本文在界定大数据质量内涵及其维度的基础上，分析大数据解决流程中数据收集、数据预解决、数据存储、数据解决与分析、数据可视化及应用等环节对大数据质量的影响及核心因素，构建大数据流程的质量影响模型，并提出大数据质量保障的建议与方法。 ????〔核心词〕数据质量；大数据流程；质量影响模型；影响因素 ????DOI：10.3969/j.issn.1008-0821..03.013 ????〔中图分类号〕G203〔文献标记码〕A〔文章编号〕1008-0821（）03-0069-04 ????〔Abstract〕The large scale，high-speed and diversity of data sources in big data，make it more likely to have inconsistency and conflict，which lead to quality issues of big data.In this article，the paper defined connotation of big data quality and its dimensions，and then analyzed the influence that data collection，data preprocessing，data storage，data processing and analysis，data visualization and its application in the procedure of big data processing exerted on big data quality and key factors；finally，the paper constructed a quality influencing model in big data process，and put forwards suggestions on quality assurance of big data. ????〔Key words〕data quality；big data process；quality influencing model；influence factors ????大数据时代，强调对总体数据的解决与分析，关注事物之间的有关关系，以及对发展趋势的分析预测。大数据的规模性、高速性和数据来源及形式上的多样性，使数据更可能产生不一致和冲突，这些都会造成大数据质量问题，因此需要对大数据进行质量管理。大数据重要由社交网络、移动计算、监控设备和传感器等信息源产生，涉及顾客多媒体服务数据、服务系统监控与管理数据、顾客行为数据、服务市场环境和客户关系数据等。大数据的来源复杂性和类型多样性造成价值密度低、提取难度大等特点，同时也给大数据质量管理带来了困扰。 ????在大数据质量的有关研究中，宗威等[1]在分析大数据特点的基础上，提出了大数据环境下数据质量的重要性及其挑战，并分别从大数据流程、大数据技术和大数据管理3个视角提出如何确保大数据质量，特别在大数据流程方面，重要从数据收集、存储和使用3个阶段提出了质量确保的建议。胡雄伟等[2]提出大数据中的数据质量问题涉及数据收集、使用、公布的整个过程，贯穿数据管理工作的始终，并分析了美国颁布的《数据质量法》中的3个数据质量原则——数据质量原则、质量管理流程和数据质量救助机制。Vijay Khatri等[3]设计了大数据治理的5个决策领域，涉及数据准则、数据质量、元数据、数据访问和数据生命周期。Sharma等[4]提出有效的数据资产管理，必须涉及元数据管理（Meta Data）、数据质量（Data Quality）、数据原则、数据架构、数据权限（Right）、数据安全性（Safety）、数据生命周期（Data Lifecycle）、主数据管理（Master Data Management）等各个方面。王宇德[5]提出运用信息架构原则和实践，实现大数据与公司数据的灵活集成，达成大数据治理的目的。其中大数据信息架构的重要原则是通过价值、成本和风险透镜将数据视为资产，并确保数据的时效性、质量和精确性；由于大数据的质量和精确性规定存在巨大差别，需要对其进行适宜的取舍以满足实际需求。马晓亭[6]以图书馆大数据为研究对象，提出为确保图书馆大数据的价值分析与服务质量，需进行大数据质量管理，如管理员从全局层面挖掘数据间的有关关系，加强对读者阅读行为、阅读关系和阅读社交舆情等大数据资源的质