大数据时代下数据挖掘在银行中应用.doc

大数据时代下数据挖掘在银行中应用 　　摘要：当今，随着计算机和网络的飞速发展，人们无论在工作中还是在日常生活中用到计算机的机会越来越多，由此产生的信息量也就越来越巨大，如此巨大的网络信息量，标志着人们已经进入了“大数据”时代。“大数据”时代下的信息具有体量大、高复杂性、增长速度快等特点，从具有如此复杂特性的信息中挖掘出用户所需要的信息，难度比以往要高了许多。特别对于银行这一行业，数据决定着它的未来发展。虽然有些银行可能还没有意识到数据爆炸性增长带来的问题，但是数据对于银行的重要性已经成为业界的共识。数据挖掘作为一种数据处理技术，在现如今数据量巨大的银行业领域中正逐步受到重视。 关键词：大数据时代；银行；数据挖掘 中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2014）07-1369-02 1 概述 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但潜在有用的信息和知识的过程。并且数据挖掘又是与计算机科学相关，包括人工智能、数据库知识、机器学习、神经计算和统计分析等多学科领域和方法的交叉学科，数据挖掘能够自动对数据进行分析，并归纳总结，推理，分析数据，从而帮助决策者对信息预测和决策其作用。 2 数据挖掘的相关概念 数据挖掘的主要方法包括遗传算法、决策树、神经网络、K―近邻算法等。遗传算法是一种最佳的空间搜索方法。它通过应用算法的适应函数来决定搜索的方向，运用一些人工运算模拟生物种群“多样性”和“优胜劣汰”的过程，进行一代一代的周而复始的演化，首先将群体中较劣的初始解通过复制、交叉和变异3个基本算子优化求解的技术，再在求解空间随机和定向搜索特征的多次迭代，直到求得问题的最优解。决策树是一种用树枝状结构来展示数据受各变量影响的分析预测模型，树型结构表示分类或者决策集合，决策树是采用自上到下的递归模式，树的非终端节点表示属性，叶节点表示所属的不同类别。通过计算各个决策的期望值，选出最优解。神经网络是一种模仿人脑思考结构的数据分析模式，依据其非线形预测模型，通过模式识别的方式展开，获取的知识需要存储在网络各单元之间的连接权中。人工神经网络能够完成分类和聚类等挖掘。K―邻近算法是一种常用的基于距离度量的分类方法。K―近邻算法假设整个训练集不仅包含数据集，而且包含每个元组期望的类别标签。 数据挖掘通过预测未来趋势及行为，做出前摄的、基于知识的决策，其主要有以下五类功能。 2.1 关联分析 数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联。关联可分为时序关联、简单关联、因果关联。关联分析的目的是找出数据库中隐藏的关联网。有时并不知道数据库中数据的关联函数，即使知道也是不确定的，因此关联分析生成的规则带有可信度。 2.2 概念描述 概念描述就是对某类对象的内涵进行描述，并概括这类对象的有关特征。概念描述分为特征性描述和区别性描述，前者描述某类对象的共同特征，后者描述不同类对象之间的区别。 2.3 自动预测趋势和行为 数据挖掘自动在大型数据库中寻找预测性信息，以往需要进行大量手工分析的问题如今可以迅速直接由数据本身得出结论。 2.4 聚类 数据库中的记录可被化分为一系列有意义的子集，即聚类。聚类增强了人们对客观现实的认识，是概念描述和偏差分析的先决条件。聚类技术主要包括传统的模式识别方法和数学分类学。 2.5 偏差检测 数据库中的数据常有一些异常记录，从数据库中检测这些偏差很有意义。偏差包括很多潜在的知识，如分类中的反常实例、不满足规则的特例、观测结果与模型预测值的偏差、量值随时间的变化等。偏差检测的基本方法是，寻找观测结果与参照值之间有意义的差别。 3 大数据时代下的数据挖掘 近年来，随着互联网上的信息量高速增加，无论是商业、经济政治以及其他领域，都面临着“大数据”时代，所谓“大数据”，顾名思义就是大量的信息数据。大数据时代，数据挖掘是最关键的工作，它将帮助在复杂的，量巨大的数据库中的业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助决策的关键性数据。 数据挖掘在商业领域应用更是广泛，这里有一个关于在大数据时代下数据挖掘成功的案例。在美国沃尔玛超市，我们可以看到尿布与啤酒这两个毫不相干的产品通常摆在一起出售，而且销售量还非常不错。原来这是沃尔玛公司利用庞大的数据系统，对其顾客的购物行为进行购物篮分析时发现，一些年轻的父亲下班后经常要到超市给婴儿买尿布，他们中40%的人同时也会为自己买一些啤酒。通过数据挖掘技术，他们在庞大的、模糊的信息量中找到了这对他们有用的信息，于是，超市工作人员便把两者摆在一