商业智能和数据挖掘概述.docVIP

商业智能和数据挖掘概述 对SQL Server 2005 Data Mining 的应用分析 详细说明 对原数据挖掘程序的分析，包括优点和不足以及需要改进的地方 我的整体设计思路，包括对原设计思路的借鉴和创新 现阶段已完成的工作，和原程序相比所做的改进 详细说明 1. 商业智能和数据挖掘概述 1.1 商业智能和数据挖掘的定义 商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。从技术层面上讲，商业智能是数据仓库、OLAP和数据挖掘等技术的综合运用。 从技术上定义，数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 从商业角度的定义，数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。数据挖掘可以描述为：按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。 1.2数据挖掘与传统分析方法的区别 数据挖掘与传统的数据分析(如查询、报表、联机应用分析)的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先未知、有效和可实用三个特征。 先前未知的信息是指该信息是预先未曾预料到的，即数据挖掘是要发现那些不能靠直觉发现的信息或知识，甚至是违背直觉的信息或知识，挖掘出的信息越是出乎意料，就可能越有价值。在商业应用中最典型的例子就是一家连锁店通过数据挖掘发现了小孩尿布和啤酒之间有着惊人的联系。 1.3 数据挖掘的过程 数据挖掘过程中各步骤的大体内容如下： 1. 确定业务对象 清晰地定义出业务问题，认清数据挖掘的目的是数据挖掘的重要一步。挖掘的最后结构是不可预测的，但要探索的问题应是有预见的，为了数据挖掘而数据挖掘则带有盲目性，是不会成功的。 2. 数据准备 1) 数据的选择 搜索所有与业务对象有关的内部和外部数据信息，并从中选择出适用于数据挖掘应用的数据。 2) 数据的预处理 研究数据的质量，为进一步的分析作准备。并确定将要进行的挖掘操作的类型。 3) 数据的转换 将数据转换成一个分析模型，这个分析模型是针对挖掘算法建立的，建立一个真正适合挖掘算法的分析模型是数据挖掘成功的关键。 3. 数据挖掘 对所得到的经过转换的数据进行挖掘。除了完善从选择合适的挖掘算法外，其余一切工作都能自动地完成。 4. 结果分析 解释并评估结果。其使用的分析方法一般应作数据挖掘操作而定，通常会用到可视化技术。 5. 知识的同化 将分析所得到的知识集成到业务信息系统的组织结构中去。 1.4 数据挖掘的应用和实例 数据挖掘技术从一开始就是面向应用的。目前，在很多领域，数据挖掘(data mining)都是一个很时髦的词，尤其是在如银行、电信、保险、交通、零售（如超级市场）等商业领域。数据挖掘所能解决的典型商业问题包括：数据库营销（Database Marketing）、客户群体划分（Customer Segmentation Classification）、背景分析（Profile Analysis）、交叉销售（Cross-selling）等市场分析行为，以及客户流失性分析(Churn Analysis)、客户信用记分(Credit Scoring)、欺诈发现(Fraud Detection)等等。 举一个简单的例子，当银行通过对业务数据进行挖掘后，发现一个银行帐户持有者突然要求申请双人联合帐户时，并且确认该消费者是第一次申请联合帐户，银行会推断该用户可能要结婚了，它就会向该用户定向推销用于购买房屋、支付子女学费等长期投资业务，银行甚至可能将该信息卖给专营婚庆商品和服务的公司。数据挖掘构筑了竞争优势。 美国运通公司(American Express)有一个用于记录信用卡业务的数据库，数据量达到54亿字符，并仍在随着业务进展不断更新。运通公司通过对这些数据进行挖掘，制定了“关联结算(Relation ship Billing)优惠”的促销策略，即如果一个顾客在一个商店用运通卡购买一套时装，那么在同一个商店再买一双鞋，就可以得到比较大的折扣，这样既可以增加商店的销售量，也可以增加运通卡在该商店的使用率。 美国的超市有这样的系统，当你采购了一车商品结账时，售货员小姐扫描完了你的产品后，计算机上会显示出一些信息，然后售货员会友好地问你：我们有一种一次性纸杯正在促销，位于F6货架上，您要购买吗？这句话决不是一般的促销。因为计算机系统早就算好了，如果你的购物车中有餐巾纸、大瓶可乐和沙拉，则86%的可能性你要买一次性纸杯。结