大数据下的智能数据分析技术研究.pdfVIP

2013 NO.30 科技资讯 SCIENCE TECHNOLOGY INFORMATION 信 息 技 术 大数据下的智能数据分析技术研究 李贵兵 罗洪 ( 西南民族大学计算机科学与技术学院 四川成都 6 1 0 0 4 1 ) 摘 要:大数据背景下对数据的智能分析技术提出了新的挑战,本文对传统的智能数据分析技术做了比较,分析其各自的优缺点。同时对 新的大数据分析方案Hadoop进行了梳理,提出了未来大数据智能分析技术的发展方向的展望。 关键词:大数据 数据智能分析 Hadoop 中图分类号:TP311.13 文献标识码:A 文章编号:1672-3791(2013)10(c)-0011-02 大数据时代业已到来,当今世界正处 间有价值的关联或相关联系,就是要建立 人工神经网络是一种应用类似于大脑 在一个数据爆炸的时代。伴随着多媒体、云 形如X→Y的蕴涵式,其中X和Y分别称为 神经突触联接的结构进行信息处理的数学 计算、物联网、社交网络等技术的发展,以 关联规则的先导(antecedent)和后继 模型。该模型由大量的节点(或称神经元)之 及天文观测、空间地理、金融分析等各领域 (consequent)。关联规则一般应用在事物数 间相互联接构成。每个节点代表一种特定 每天都在产生巨量的数据,这些数据如此 据库中,其中每个事物都由一个记录集合 的输出函数,称为激励函数(activation 庞大,其规模、其涌现速度和其处理难点超 组成。这种事物数据库通常都包括极为庞 function)。每两个节点间的连接都代表一个 出目前常规技术能管理、处理和分析的能 大的数据,因此,当前的关联规则发现技巧 对于通过该连接信号的加权值,称之为权 [1] 力 。一般来说,大数据具有量大(Volume)、 正努力根据基于一定考虑的记录支持度来 重,这相当于人工神经网络的记忆。网络的 流动性大(Velocity),种类多(Variety),分布 削减搜索空间。关联规则的常见算法有 输出则依网络的连接方式,权重值和激励 式(distributed)、非一致(nonuniformity)等特 Apriori算法、基于划分的算法、FP-树频集 函数的不同而不同。而网络自身通常都是 性,这些特点决定了在大数据时代,我们传 算法等。 对自然界某种算法或者函数的逼近,也可 统的数据处理技术必须有革命性的变化, 1.3 粗糙集(R ou gh Set s) 能是对一种逻辑策略的表达。 包括数据的存储与组织方式、计算方法、数 粗糙集智能数据分析是粗糙集理论中 典型的神经网络模型主要分三大类, 据分析,而对大数据的智能分析技术将尤 的主要应用技术之一,是一种基于规则的 即前馈式神经网络模型,反馈式神经网络 为重要。 数据分析的方法。其思想主要来自统计学 模型,自组织映射方法模型。人工神经网络 和机器学习,但并不是这两种工具随意的 具有非线性、非局限性、非常定性、非凸性 1 几种传统智能数据分析方法的比较 应用,它以粗糙集理论为基础,以数据表所 等特点,它的优点有三个方面:第一,具有 大数据智能分析需要有新的理论和技 表示的信息系统为载体,通过分析给定数 自学习功能。第二,具有联想存储功能。第 术的突破,但它与传统的智能数据分析方 据集的性质、粗糙分类、决策规则的确定性 三,具有高速寻找优化解的能力。 法必定还有延续。传统的数据分析领域,如 以及覆盖度因子等过程,从中获取隐含的、 1 . 6 混沌和分形理论 知识库系统、数据仓库、数据挖掘等已经积 潜在有用的知识。 混沌（Chaos）和分形（F