大数据时代下数据挖掘技术在银行中的应用.docVIP

大数据时代下数据挖掘技术在银行中的应用 摘要：伴随着信息技术的飞速发展，各行各业各个领域都在积极引进信息技术，银行工作也是如此。当今时代已经成为了富含海量数据信息的大数据时代，想要在此背景下从众多信息中迅速挖掘出想要的信息，比以往要困难很多。对于银行工作来说，数据基本决定了其发展，但是有些银行目前却还没有发现海量爆炸性数据所造成的威胁，对此，相关工作人员必须加以重视，引进数据挖掘技术，实现银行业的可持续发展。 关键词：大数据时代；银行；数据挖掘 随着时代的发展和进步，对于银行来说，需要不断完善计算机系统中的操作数据存储。数据库群、企业数据仓库、主数据存储等建设相应的基础网络。NoSQL、Lucene、Hadoop、MapReduce等技术的发展适当的增加了银行掌握数据的能力。现阶段，无论银行面对的是外部数据和是内部数据、非结构数据或者结构数据，已经具有比较成熟的产生、整合、存储以及访问数据的技术，此外，要想最大限度实现数据的价值，需要银行全面分析挖掘数据的发展趋势和规律，并运用到银行运行中。 一、大数据时代银行面临的挑战 （一）银行中传统方式对银行企业文化的冲击 随着大数据的发展，对银行产生很多影响和冲击，对于银行企业文化发展的影响主要包括以下几方面：第一，摒弃偏爱纯净数据和有条理数据，转向接受非结构数据，允许少量不精确数据。第二，逐渐从局部冲击变为全部冲击，因为大数据时代不同于以往的情况，需要大量数据，因此全面冲击企业文化。第三，企业文化与数据逐渐冲因果关系变为相关关系[1]。 （二）银行面临的数字化挑战 大数据分析对于银行决策来说就是一定的扩展数据、快速分析数据的作用，支持银行发展目标。随着大数据时代的发展和进步，银行面临着一些挑战，一方面要使银行内部不断开发新业务和新产品，另外一方面就是传统数据结构性能问题。数字化的发展使得银行需要面对大量的数据，数据增长速度快、规模庞大；类型多，数据类型除了传统的结构以外，还具有语音、视频、文字、图片等形式，结构复杂，内容繁多；分析规则复杂，一般有价值的数据藏的都比较深，需要利用多种算法进行分析；具有很高的实时性，随着数字化发展，数据处理的速度更快，实时性更强，需要及时准确地进行处理[2]。 二、数据挖掘技术 （一）数据挖掘概述 1.数据挖掘技术应用步骤 数据挖掘实际上就是在海量数据中利用各种分析工具来发现数据之间的关系和模型的过程，预测数据关系和模型，以便于可以很好的找到潜在的数据关系，发现被忽视的原因，因此，是目前解决数据爆炸的有效方式，被称作KDD。数据挖掘属于反复的过程，主要包括以下步骤： 第一，定义问题和分析主题。在挖掘数据的时候，需要分析应用领域，主要包括应用目标和知识[3]。定义问题可以适当的充分了解实际情况，熟悉背景以及用户需求，不能定义缺少背景的知识。在确定用户实际需求以后，需要评估历史数据，利用数据挖掘来不断满足用户需求，然后制定合理的数据挖掘计划。 第二，准备数据。数据挖掘需要处理的数据不但具有大量数据，还会存在一些冗余数据和噪音数据以及不完整数据。准备数据主要包括数据清理、集成数据、选择数据、变换数据、归约数据以及数据质量分析。 第三，建立模型。主要就是通过已知知识和数据建立模型，能够有效的分析和描述知识和数据，可以在未知数据中进行应用。建模实际上就是把一般规律、相关经验形成抽象的分析模型，挖掘数据就是依据模型分析、处理、预测数据的过程。 第四，评估模式。评估模式主要就是通过知识来体现用户需求，然后优化挖掘数据过程中的数据，直到符合规范。 2.数据挖掘技术算法 数据挖掘技术算法实际上具体实现数据挖掘方法，主要包括模型表示、模型评价标准以及发现方法三部分。数据挖掘技术算法主要包括决策树、遗传算法、K―近邻算法、神经网络等。具有最佳搜索空间的方式就是遗传算法，利用应用遗传算法的适应函数来合理的搜索方向，然后通过人工算法来模拟一些生物种群的优胜劣汰和多样性，从而进行周而复始的一代代演化。决策树是利用树状结构来体现影响数据变量的分析预测模型，属性就是决策集合或者分类集合，通过自上到下的回归方式，树的叶结点代表不同种类、非终端结点代表属性。合理计算每个树期望值，得到最优解。K―邻近算法是在距离度量分类的基础上进行的，假设所有集合不包括数据集，并且包括很多类别的期望值。神经网络是能够模仿人类大脑思考结构的分析方式，利用非线性预测，来进行识别，从而得到各网络单元的数据。数据挖掘工具核心内容就是算法，主要包括分类分析、聚类分析、关联分析、统计分析、时间序列、相关分析以及值预测。一般比较常用的就是分类算法、值预测和聚类分析[4]。 表一数据挖掘工具比较分析 三、数据挖掘技术在银行中的应用 （一）贷款方进行信用风险评估应用 贷款方进行的信用风险评估是银行应用数据挖掘技术的主要方式之