综述-——基于模式识别的大数据集的数据分析求解.pdf

基于模式识别理论的大数据集的数据质量分析

文献综述

谢红涛

摘要

随着互联网、移动互联网和物联网的发展，我们已经切实地迎来了一个海量

数据的时代，分析调研机构IDC发布了新的数字宇宙研究报告(DigitalUniverse

Study)——《从混沌中提取价值》(ExtractingValuefromChaos)。这一报告

显示，全球信息总量每过两年，就会增长一倍。2011年，全球被创建和被复制

的数据总量为1.8ZB。相较去年同期，这一数据上涨了超过1ZB，这相当于全球

每个人每天都去做2.15亿次高分辨率的核磁共振检查所产生的数据总量。因此，

数据增长态势下，如何对海量数据进行管理及分析已经成为一个非常重要且紧迫

的需求。而数据质量是数据分析结论有效性和准确性的基础，也是最重要的前提

和保障。数据质量保证是数据仓库架构中的重要环节，在当今网络化的数据时代，

数据质量成为理论研究和实际应用的热点问题。模式识别是20世纪60年代以来

在信号处理、人工智能、控制论、计算机技术等学科基础上发展起来的新型学科，

以其速度快，准确性高，效率高等显著特点对大数据处理方面有其特殊的优势。

关键字：模式识别大数据数据质量分析

大数据（BigData）是继云计算、物联网之后IT产业又一次颠覆性技术变

革。对国家治理模式、企业的决策、组织和业务流程、个人生活方式都将产生巨

大的影响。

一、大数据的意义

（一）大数据的国家战略意义

信息时代的海量数据，是支撑国家安全与发展的重要战略资源。谁占据信息

技术优势，谁就会最大限度地存储、挖掘和使用“海量数据”，牢牢掌握“海量

数据”开发利用的主动权。有人形象地称之为“数据主权”。

对于大数据在中国的作用，体现为四个方面：一是通过实施“循数管理”，

可提高决策能力。比如，通过分析春节期间移动用户漫游情况，掌握人口的流动

规模与迁徙规律，可以为交通管理、铁路运输、公共安全管理等提供决策参考。

二是基于大数据应用，逐步开放公共数据，打造透明政府，提高政府公信力。可

率先效仿国际上做法，建立中央政府层面的公共数据服务平台，建立相关规范和

制度，推动各个行业、各大企业在公共服务领域数据的开放。三是基于大数据分

析，监控重大社会事件，构建科学预警监控体系，更好地服务民生。利用遍布政

府和社会各领域的数据，在医疗健康、食品卫生、道路交通、地质灾害、社会舆

情、信息安全、国土安全等各领域进行智能分析研究，可以有效实现对于重大安

全、危机、风险的防范和预警。四是各个行业都需要强化大数据意识，通过数据

来提高效率、提升精细化和智能化水平，才能推动从中国制造走向中国创造，创

造更大的价值。

（二）大数据对企业的导向作用

信息时代的到来，网民与消费者界限正在消弭，企业的疆界变得模糊，传统

企业和互联网企业竞争矛盾加剧，数据成为核心的资本并将深刻影响企业的商业

模式，甚至重组其文化和组织。

大数据对企业的作用表现在以下四个方面。第一，大数据时代将给网络广告

市场的发展带来质的飞跃。大数据时代，众多互联网企业产生了规模庞杂的用户

数据，既包括性别、年龄、地域、学历、职业等基本属性，也包括爱好、上网行

为轨迹、购物行为习惯、用户间的关联度等深层次的属性。大数据的价值在于为

广告主和代理公司更高效、更准确地锁定目标受众打下了坚实的基础。第二，互

联网企业对海量数据的深入挖掘，有助于加深其对于用户行为、爱好等方面的了

解，为用户打造个性化的服务，并针对产品及服务进行优化。第三，互联网企业

通过对大量数据的分析研究，可以实现对市场新需求的及时把握，带来产品、服

务乃至商业模式的创新。第四，面对大数据的浪潮，对于互联网企业而言最为关

键的挑战是实现对海量数据的实时监测，并依据监测结果进行实时决策。

（三）大数据对个人的影响

国家对大数据的重视，使得每个人对社会的需求得到了回应，个人对的衣、

食、住、行等方面的要求有了及时的响应；企业在大数据时代迎来的挑战和重大

转型也影响着个人学习和生活的方向；同时，大众作为国民，也做为消费者的角

色也能在国家和企业的发展方向上起着决定性的作用。