数据仓库和知识发现-第一章.pdf

数据仓库与知识发现 北京邮电大学软件学院 牛琨 niukun@ 2012.9 北京 主要内容  1. 概述  2. 数据仓库相关  3. 知识发现的主要技术 4. 数据分析工具及应用  5. 知识发现的典型应用 2 1. 概述  1.1 背景  1.2 知识发现的定义  1.3 知识发现的主要功能  1.4 知识发现标准模型  1.5 知识发现的主要应用  1.6 知识发现的未来发展趋势 3 1.1 背景 二十世纪末以来，全球信息量以惊人的速度急剧增长： 据估计，每二十个月将增加一倍。 系统中都收集了大量的数据（信息）。目前的数据库系 统虽然可以高效地实现数据的录入、查询、统计等功能， 但无法发现数据中存在的关系和规则，无法根据现有的 数据预测未来的发展趋势。 为了充分利用现有信息资源，从海量数据中找出隐藏的 知识，数据挖掘及知识发现技术应运而生并显示出强大 的生命力。 4 1.1 背景 数据挖掘是八十年代投资AI研究项目失败后，AI转入实 际应用时提出的。它是一个新兴的，面向商业应用的AI 研究。  1989年8月，在美国底特律召开的第 11届国际人工智能 联合会议的专题讨论会上首次出现数据库中的知识发现 （Knowledge Discovery in Database ，KDD ）这一 术语。  随后，在1991年、 1993年和 1994年都举行 KDD专题 讨论会，汇集来自各个领域的研究人员和应用开发者， 集中讨论数据统计、海量数据分析算法、知识表示、知 识运用等问题。最初，数据挖掘是作为 KDD中利用算法 处理数据的一个步骤，其后逐渐演变成 KDD的同义词。 5 1.1 背景 现在，人们往往不加区别地使用两者。 KDD常常被称为 数据挖掘（ Data Mining ），但也可以将KDD中进行知 识学习的阶段称为数据挖掘（ Data Mining ），数据挖 掘是 KDD中一个非常重要的处理步骤。 数据挖掘是近年来出现的客户关系管理（ Customer Relationship Management ，CRM ）、商业智能 （Business Intelligence ，BI ）等热点领域的核心技术 之一。 6 DATA SETS format is simply comma separated values  Data set concerning bridges in USA  E13,A,33,CR