大数据挖掘与分析关键技术研究.docVIP

大数据挖掘与分析关键技术研究 　　摘要：云计算、物联网和互联网的快速发展，使得数据量以极快的速度增长，大数据成为研究热点。大数据的价值产生于分析过程，所以大数据挖掘与分析是整个大数据处理流程的核心。本文介绍了大数据数据体量巨大、数据类型繁多、价值密度低、处理速度快的4V特征、以及基于这些特征的大数据挖掘与分析需要解决的关键技术。 　　关键词：大数据 大数据分析 大数据挖掘 可视分析 　　中图分类号：TP391 文献标识码：A 文章编号：1007-9416（2015）11-0000-00 　　随着云计算、物联网和互联网等技术的快速发展，各种移动设备、传感网络、电商网站、社交网络时时刻刻都在生成各种各样类型的数据，大数据时代已经到来。大数据即数据体量巨大、数据类型多样、数据的质量低、处理速度迅速的数据。大数据分析的核心是从大量数据中获取有价值的内容，更准确、更深层次的知识，而不是对数据简单的统计和分析。 　　1 大数据的定义与特征 　　大数据已经进入了我们每个人的生活，各行各业都在讨论如何发展和运用大数据，那么什么是大数据，大数据的特征是什么？ 　　大数据是指所涉及的数据规模巨大到无法通过目前主流的软件工具在合理时间内撷取、管理、处理、挖掘这些数据，并整理成为企业经营决策有用的信息。 　　IBM提出大数据的4V特征，得到了业界的广泛认可。第一，数量（Volume），即数据巨大，从TB级别跃升到PB级别；第二，多样性（Variety），即数据类型繁多，不仅包括传统的格式化数据，还包含来自互联网的大量视频、图片、位置和日志等；第三，速度（Velocity），即处理速度快；第四，价值性（Veracity），即追求高质量的数据。大数据具有 4V 特征， 给人们带来了新的机遇与挑战。 　　2 大数据挖掘与分析的意义 　　在大数据处理的过程中，数据分析是核心，因为大数据的价值全部在数据分析过程中产生。互联网、硬件等技术迅猛发展，加深了人们对数据分析的需求。如果大数据是一种产业，赚钱的重点在于如何提高数据的分析能力，通过分析发现数据的更多潜在的价值。在大数据时代，数据分析是数据价值发现的最重要环节，也是决策的决定性元素。 　　传统的数据分析主要针对结构化数据，且已经形成一整套非常有效果的分析体系。但是在大数据时代，半结构化和非结构化数据量的快速增长，给传统的分析技术带来了巨大的挑战和冲击。大数据分析于传统数据分析有哪些区别呢？ 　　3 大数据挖掘与分析的关键技术 　　大数据挖掘与分析的关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据实时处理、大数据可视化和应用等。 　　3.1大数据采集技术 　　大数据采集一般分为大数据智能感知层和基础支撑层。 智能感知层重点攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。基础支撑层重点攻克提供大数据服务平台所需的虚拟服务器、数据库及物联网络资源等处理技术。 　　3.2 大数据预处理 　　大数据预处理是指在大数据挖掘前期对大数据进行的一些提前处理。预处理包括数据清理、数据集成、数据变换和数据归约等几种方法（表1）。 　　大数据的特点是数据量大，但并没有增加数据价值，相反增多了数据噪音，有很多数据放在存储器里就没再用过。数据量的突然增加，各种媒体数据被任意碎片化。在应对处理大数据的技术挑战中，大数据的降噪与清洗技术值得高度重视。 　　早期主要是结构化数据的挖掘，可从数据库中发现时序知识、关联知识和分类知识等。在大数据时代，数据库已经不能满足人们的需求了。大数据中数据类型繁多，我们进入了一个非结构化数据挖掘时代。因此，非结构化数据模型是大数据预处理的重要研究方向。 　　表1：传统数据分析与大数据分析比较 　　传统数据分析 　　大数据分析 　　对已知的数据范围中好理解的数据进行分析。 　　不能保证输入的数据是完整、清洗过或没有错误。 　　建立在关系数据模型之上，分析在关系已经被创立的基础上进行。 　　需要考虑以RFID、图片、视频等形式存在的非结构化数据。 　　定向的批数据处理 　　对数据的实时处理。 　　通过昂贵的硬件来实现。 　　通过通用的硬件和新一代的分析软件来实现。 　　3.3大数据管理 　　大数据不断地从复杂的应用系统中产生，并且将会以更多、更复杂、更多样化的方式持续增长。多样化的物联网传感设备不断地感知着海量的具有不同格式的数据。物联网系统中大数据的复杂化和格式多样化，决定了物联网系统中针对大数据的应用场景和服务类型的多样化，从而要求物联网大数据管理系统必须采用特定技术来处理各种格式的大数据，而现在针对特定数据类型和业务的系统已经无法满足多样化需求，因此，设计新的具有可扩展性的系统架构已经成为大数据管理的研究热点