大数据时代数据质量管理.docVIP

大数据时代数据质量管理 　　【摘 要】近几年，在数据量井喷、各种应用口渐深入的背景下，“大数据”一词在媒体上的曝光率空前提高。目前，越来越多的领域开始应用大数据创造价值。为了合理有效地挖掘大数据所蕴含的巨大战略资源，能否用大数据的思维方式解决问题，需要对大数据进行数据质量管理。然而大数据的收集、分析和应用上都还有很多的路要走，如何挖掘出数据价值，已经成为了目前各国必须面对的重大课题。本文在大数据背景下，分析了大数据的特点特征，给出了大数据研究的意义及思想观念上的转变，并就大数据质量管理的重要性及面临的挑战给出了分析看，最终得出了有关大数据数据质量管理的观点。 　　【关键词】大数据；数据质量；管理 　　一、引言 　　在人类历史的长河中，人们探索和发现未知领域的规律时，曾经主要依赖经验、理论和假设等推理的方法，受个人偏见影响较大。在大数据时代，因为技术进步，人们有能力获得研究对象的全部数据，通过对全部数据的不同维度分析来获取过去不可能获取的知识。 　　目前世界上并没有机构或组织对大数据下过公认的、权威的定义，不同的个人和机构对大数据有不同的定义。为了合理有效地挖掘大数据所蕴含的巨大战略资源，需要对大数据进行数据质量管理。然而大数据的收集、分析和应用上都还有很多的路要走，如何挖掘出数据价值，已经成为了目前各国必须面对的重大课题。 　　二、大数据介绍 　　（一）大数据特征 　　根据目前研究所得内容来看，大数据给我们的认识是：一是具有一定级别数量可以进行研究分析；二是难以通过传统数据分析方式进行分析；三是大数据分析所得的结论与以往小数据存在巨大差距。从这些对大数据的含义分析，可以看出大数据具有数据规模巨大、种类繁多、数据挖掘难度大的特征。 　　1.数据规模巨大 　　21世纪以来，人类社会步入信息社会时代，据有关资料显示2012年全世界每天产生27亿GB的数据量，几天产生的数据量是2000年之前全世界所有存储数据总和。网络信息社会的到来，使得信息经济社会的网络企业需要处理巨大的数据量。随着互联网的不断发展，大数据获取了更大的发展前景。 　　2.数据种类繁多 　　当今，我们生活在一个充满数据的世界里，各种各样的数据类型不断涌现而这些数据绝大部分都不具有我们过往所认识的具有结构性的数据，难以用传统的技术手段来进行分析。而这种数据处理的困境将会长期存在着，根据IDC预测指出，在可见的未来里，非结构的数据量将占据整个数据量中的90%以上。 　　3.价值难以挖掘 　　以上两个大数据的特征分析可知，社会中会形成海量的数据，存在种类繁多的数据，但对这些数据的使用我们还缺乏有效的挖掘手段，导致许多大数据所蕴含的价值难以被获取使用。在大数据的挖掘中，需要不断的进行创新，使我们在使用数据的过程中能够进行有效分析；还要培养大数据的思维方式，才能真正从大数据中挖掘所需的数据内容，创造出价值。 　　（二）大?稻菅芯? 　　1.大数据研究的意义 　　在信息社会时代中，通过不断创新对大数据进行研究和挖掘，对于社会经济的发展将会带来巨大的现实意义，小到个人、企业，大到国家、世界，能够把创新出大数据的挖掘技术手段，将会促进人类社会文明的进一步发展。 　　2.大数据研究对思想观念的转变 　　在数据的研究发展过程中，由于过去数据的获取和分析方式技术比较落后。在大数据时代中，获取数据的技术手段已经得到有效解决。因此，过去的数据处理方式已经不能适应大数据处理需求，需要进行总体观念、容错观念、相关观念上的转变。 　　三、大数据环境下数据质量的重要性及挑战 　　由以上论述我们知道，大数据所居偶遇的复杂、多样、多变等特点，要保障所获取的数据质量变得非常困难。为了对大数据环境下数据质量的重要性有一个全面的认识，并能够掌握其中所存在的挑战，下文将从流程、技术、管理三个方面进行论述说明。 　　（一）流程视角 　　数据只有经过加工后才能被使用，数据加工的过程也就是数据生成的流程，一般被分为收集、存储和使用三个过程，而在不同阶段中的数据加工水平影响着数据质量。 　　第一，在大数据时代中，数据来源多样而复杂给数据收集带来了极大挑战。众多的数据来源需要有相应的数据结构进行相匹配，才能真正将这些不同的数据来源整合在一起。第二，在大数据时代里，由于数据种类多而复杂，需要提供相应的数据结构来进行数据存储。对于企业来说，要建立起一套适用于自身的数据库处理技术和数据存储技术来存储公司的数据，使之能够按照需要进行提取适用。最后，对数据的收集、存储的最终目的是为了能够从中分析出有用的信息内容。在大数据时代中，所收集的数据内容并不是静止不变的，因此在对收集的信息进行分析时，如果不能保证提取、分析、更新和使用的准确性将会最终影响数据分析的质量，使得获取的结论得到偏差。