DWDM第9-10章.docVIP

9 数据挖掘概述 143 9.1 KDD与数据挖掘 143 9.2 KDD过程 145 9.3 数据挖掘的任务 146 9.4 数据仓库与数据挖掘 148 本章要点 149 参考文献 150 10 数据挖掘的数据准备 151 10.1 数据准备概述 151 10.1.1 数据准备的内容 151 10.1.2 与数据仓库的比较 153 10.2 数据的应用变换 154 10.2.1 异常值处理 155 10.2.2 数据标准化 157 10.2.3 数据泛化 159 10.2.4 数据聚集 162 10.3 数据的精简 163 10.3.1 属性子集选择 163 10.3.2 主成分分析 164 10.3.3 离散小波转换 165 10.3.4 回归方法 167 10.3.5 数据抽样 168 本章要点 170 参考文献 171 数据挖掘概述 数据挖掘（Data Mining，DM）是随着计算机的广泛应用和数据的大量积累而发展起来的，其同数据库知识发现（Knowledge Discovery in Database，KDD）和数据仓库有着密切的联系。本章首先介绍数据库知识发现和数据挖掘的含义、发展、应用情况及数据库知识发现的过程和数据挖掘的任务，然后论述数据仓库和数据挖掘的密切联系。 KDD与数据挖掘 数据库知识发现（Knowledge Discovery in Database, KDD）是目前非常活跃的研究领域，其研究涉及人工智能和数据库等多门学科。数据库的广泛应用和数据量的飞速增长，使人们迫切地感到需要新的技术和工具以支持从大量的数据中智能地、自动地抽取出有价值的知识或信息，数据库知识发现就是为解决上述问题而提出的智能数据分析（Intelligent Data Analysis，IDA）技术。 “数据库知识发现1989年8月在美国底特律召开的第11届国际人工智能联合会议的专题讨论会上。1991、1993和1994年又分别举行过数据库知识发现1995年开始，每年都要举办一次数据库知识发现数据库知识发现数据库知识发现Knowledge discovery in databases is the non-trivial process of identifying valid, novel, potentially useful, and ultimately understandable patterns in data）[]。 数据库知识发现不仅被许多研究人员看作是数据库系统和机器学习方面一个重要的研究课题，而且被许多工商界人士看作是一个能带来巨大回报的重要工具。由于数据库知识发现是一个新兴的边缘学科，汇集了来自机器学习、数据库、模式识别、统计学、人工智能、管理信息系统等各学科的研究成果。多学科的相互交融与相互促进，使得数据库知识发现这一学科得到了蓬勃的发展，并且很快有了许多成功的应用。 在科学实验中的应用。随着先进的科学数据收集工具的使用，实验数据量非常的大，传统的数据分析工具有时会无能为力，因此必须有强大的智能型自动数据分析工具才行。数据库知识发现在科学研究上的一成功应用实例是：Fayyad和他的同事们，在加利福尼亚Pasadena的Jet Propulsion实验室，应用决策树和基于规则的方法发现了一批新的类星体[]。 数据挖掘在零售行业上的应用，通常也称为货篮分析（Basket Analysis）。它是通过对市场销售数据（如POS数据库）的分析，来识别顾客的购买行为模式，从而帮助确定商店货架的布局排放以促进某些商品的销售。在货篮分析中，最常用的方法是关联规则发现。 典型的金融分析领域有投资评估和股票交易市场预测，分析方法一般采用模型预测法，例如使用神经网络模型选择投资。 识别银行或商业上经常发生诈骗行为，如恶性透支等。数据库知识发现可以用于探测可疑的信用卡交易，或识别与洗钱有关的金融交易。 在电话销售和直接销售行业的应用。其主要方法是根据客户的采购历史数据对客户进行商品销售定位，有针对性地向客户发送商品目录，或打电话，提高直接销售或电话销售的成功率。 在制造行业也有数据库知识发现技术的应用。目前，在制造行业上的主要应用方面是控制生产流程。成功的实例之一是：LTV钢铁集团——全美第三大钢铁制造企业，应用数据挖掘技术检查可能出现的产品质量问题，降低残次率[]。 在电信行业的应用。从国际来看，电信业的营销策略普遍采用降价策略。由于数据库知识发现技术的发展，电信公司已经开始关注新的营销策略——研究客户需求，提供客户愿意购买的新的服务项目。 数据库知识发现在交通管理及车流状态预测方面的应用。 虽然数据库知识发现数据库知识发现数据库知识发现数据库知识发现数据库知识发现数据库知识发现KDD过程 数据库知识发现图 91所示，整