数据挖掘技术在企业决策中应用.docVIP

数据挖掘技术在企业决策中应用 　　[摘 要]近十几年来,人们利用信息技术生产和搜集数据的能力大幅度提高,千万万个数据库被用于商业管理、政府办公、科学研究和工程开发等等,这一势头仍将持续发展下去。海量数据的利用成为当前数据处理的关键问题。数据挖掘就是在此时应运而生的,如何跟充分的利用企业积累的大量数据,如何让他们发挥跟大的作用,成了企业生存和发展的关键之关键。 　　[关键词]数据挖掘 企业 应用 　　[中图分类号]TP[文献标识码]A[文章编号]1007-9416(2010)02-0079-02 　　 　　1 前言 　　数据挖掘能帮助企业减少不必要投资的同时提高资金回报。数据挖掘给企业带来的潜在的投资回报几乎是无止境的。世界范围内具有创新性的公司都开始采用数据挖掘技术来判断哪些是他们的最有价值客户、重新制定他们的产品推广策略,以用最小的花费得到最好的销售。 　　2 数据挖掘概述 　　数据挖掘是一种决策支持过程,是一类深层次的数据分析方法。它主要基于AI、机器学习、统计学等技术,高度自动化地分析企业原有的数据,作出归纳性地推理,从中挖掘出潜在的模式,预测客户行为,帮助企业的决策者调整市场策略,减少风险,做出正确的决策。数据挖掘的商业应用可以描述为:按企业既定业务目标,对大量的企业数据进行探索和分析,揭示隐藏的、未知的或验证已知的规律性,并进一步将其模型化的先进有效的方法。数据挖掘是一个利用各种分析工具在海量数据中发现模型和数据间关系的过程,这些模型和关系可以用来做出预测。数据挖掘,还可以称为数据库中的知识发现(Knowledge Discovery in Database, KDD),是从大量数据中提取出可信、新颖、有效并能被人理解的信息的高级处理过程。 　　2.1 数据挖掘是在数据库技术、人工智能技术、概率与数理统计的基础上发展起来的一种的技术。 　　2.1.1 数据库技术 　　SQL统治数据库查询语言标准三十多年这一事实本身就与现在 IT 发展的节拍不符,难道我们“只会查询”吗?所以就有很多专家纷纷转向数据仓库与数据挖掘技术,从数据查询转向数据挖掘、从数据演绎转向数据归纳。传统的数据库系统的体系结构也过于瘦少,只有不协调的两层,这样的结构就造成了只有程序员能编程,老板只能求助于这些“专家”。 　　2.1.2 人工智能技术 　　人工智能技术的三大难题:“知识获取、知识表示、缺乏常识”直接制约了它在现实技术市场上的作为。而在与数据仓库技术的结合上,它可以发挥重要作用,这使得它转向数据挖掘技术。 　　2.1.3 概率与数理统计 　　数理统计技术是应用数学中最重要、最活跃的学科。但在与数据库技术的结合上作为有限,这从 SQL 中那可怜的几条汇总函数便可看出。随着数据挖掘对查询、归纳对演绎需求的进化,概率与数理统计将获得新的生命力。 　　2.2 数据挖掘中最常用的技术: 　　2.2.1 工神经网络(Artificial Neural Networks) 　　人工神经网络是仿照生理神经网络结构的非线性预测模型,通过学习进行模式识别。神经网络常用于两类问题:分类和回归。在结构上,可以把一个神经网络划分为输入层、输出层和隐含层。而神经网络的知识体现在网络连接的权值上,是一个分布式矩阵结构;神经网络的学习体现在神经网络权值的逐步计算上,为的是防止训练过度和控制训练的速度,如图1所示: 　　2.2.2 决策树 (Decision Tree) 　　决策树方法是利用信息论中的互信息(信息增益)寻找数据库中具有最大信息量的属性字段,建立决策树的一个节点,再根据概述性字段的不同取值建立树的分支;在每个分支子集中重复建立树的下层节点和分支过程。决策树的基本组成部分:决策节点、分支和叶子。比如,在贷款申请中,要对申请的风险大小做出判断,为了解决这个问题而建立的一棵决策树,如图2所示: 　　2.2.3 临近搜索方法(Nearest Neighbor Method) 　　临近搜索方法将数据集合中每一个记录进行分类的方法。 　　2.2.4 规则推理(Rule Induction) 　　从统计意义上对数据中的“如果-那么”规则进行寻找和推导。 　　2.3 数据挖掘步骤 　　数据挖掘的数据分析过程可以分为三个步骤: 　　2.3.1 确定业务对象 　　清晰地定义出业务问题,认清数据挖掘的目的是数据挖掘的重要一步,挖掘的最后结构是不可预测的,但要探索的问题应是有预见的,为了数据挖掘而数据挖掘则带有盲目性,是不会成功的。 　　2.3.2 数据准备(Data Preparation) 　　本阶段又可进一步细分为两步:数据集成、数据选择和预分析。 　　(1)集成(Integration)。在这一步中,将从操作型环境