[工学]UNIT 8 数据挖掘的概念.ppt

UNIT eight数据挖掘的概念 本 讲 主 要 目 标 学完本讲后，你应该能够了解： 数据挖掘是一门交叉学科; 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 数据挖掘产生的内容(或知识)包括广义知识、关联知识、分类知识、预测型知识、偏差型知识等 挖掘的数据对象是多样的,可以是关系数据库、数据仓库、高级数据库、flat文件和WWW等 数据挖掘的常用技术包括人工神经网络、决策树、遗传算法、近邻算法、规则推导等 一．数据挖掘技术的由来 二．数据挖掘的定义 三．数据挖掘研究内容和本质 四．在何种数据上进行数据挖掘 五. 数据挖掘的功能 六. 所有模式都是有用的吗? 七. 数据挖掘系统的分类 八. 数据挖掘常用技术 九. 数据挖掘工具 十. 数据挖掘的热点和主要问题 数据挖掘技术 的由来 数据挖掘技术的由来 信息技术的下一个技术热点 大量信息在给人们带来方便的同时也带来了一大堆问题： 第一是信息过量，难以消化； 第二是信息真假难以辨识； 第三是信息安全难以保证； 第四是信息形式不一致，难以统一处理。 数据挖掘技术的由来 信息技术的下一个技术热点 人们开始提出一个新的口号：“要学会抛弃信息” 人们开始考虑：“如何才能不被信息淹没，而是从中及时发现有用的知识、提高信息利用率？” 面对这一挑战，数据挖掘和知识发现（Data Mining and Knowledge Discovery）技术应运而生，并显示出强大的生命力 数据挖掘技术的由来 数据爆炸但知识贫乏 随着数据库技术的迅速发展以及数据库管理系统的广泛应用，人们积累的数据越来越多。激增的数据背后隐藏着许多重要的信息，人们希望能够对其进行更高层次的分析，以便更好地利用这些数据。 数据的丰富带来了对强有力的数据分析工具的需求，快速增长的海量数据、存放在大型和大量数据库中，没有强有力的工具，理解这些数据已远远超出了人的能力 数据挖掘技术的由来 数据爆炸但知识贫乏 数据挖掘技术的由来 数据爆炸但知识贫乏 目前的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段，导致了“数据爆炸但知识贫乏”的现象。 数据挖掘技术的由来 支持数据挖掘技术的基础 数据挖掘技术是人们长期对数据库技术进行研究和开发的结果。 现在数据挖掘技术在商业应用中已经可以马上投入使用，因为对这种技术进行支持的三种基础技术已经发展成熟： 海量数据搜集 强大的多处理器计算机 数据挖掘算法 数据挖掘技术的由来 数据挖掘的演变过程 数据挖掘其实是一个逐渐演变的过程,电子数据处理的初期,人们就试图通过某些方法来实现自动决策支持。 当机器学习成为人们关心的焦点.机器学习的过程就是将一些已知的并已被成功解决的问题作为范例输入计算机,机器通过学习这些范例总结并生成相应的规则,这些规则具有通用性,使用它们可以解决某一类的问题. 随着神经网络技术的形成和发展,人们的注意力转向知识工程,知识工程不同于机器学习那样给计算机输入范例，让它生成出规则，而是直接给计算机输入已被代码化的规则，而计算机是通过使用这些规则来解决某些问题。专家系统就是这种方法所得到的成果，但它有投资大、效果不甚理想等不足。 数据挖掘技术的由来 数据挖掘的演变过程 80年代又在新的神经网络理论的指导下，重新回到机器学习的方法上，并将其成果应用于处理大型商业数据库。随着在80年代末一个新的术语，即数据库中的知识发现，简称KDD(Knowledge discovery in database).它泛指所有从源数据中发掘模式或联系的方法，人们接受了这个术语，并用KDD来描述整个数据发掘的过程，包括最开始的制定业务目标到最终的结果分析，而用数据挖掘（data mining）来描述使用挖掘算法进行数据挖掘的子过程。 数据挖掘技术的由来 数据挖掘的演变过程 最近人们却逐渐开始使用数据挖掘中有许多工作可以由统计方法来完成，并认为最好的策略是将统计方法与数据挖掘有机的结合起来。 数据仓库技术的发展与数据挖掘有着密切的关系。数据仓库的发展是促进数据挖掘越来越热的原因之一。但是，数据仓库并不是数据挖掘的先决条件，因为有很多数据挖掘可直接从操作数据源中挖掘信息 数据挖掘 的定义 数据挖掘的定义 技术上的定义及含义 简单地说，数据挖掘是从大量数据中提取或挖掘知识。 数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 与数据挖掘相近的同义词有数据融合、数据分析和决