数据挖掘算法.pdf

数据挖掘算法 数据挖掘算法 Wang Ye 2006.8 Wang Ye 2006.8 一、概念和术语 一、概念和术语  1.1 数据挖掘/ 知识发现  1.1 数据挖掘/ 知识发现 （1）数据挖掘是从存放在数据集中的大量数据挖掘出有趣 （1）数据挖掘是从存放在数据集中的大量数据挖掘出有趣 知识的过程。 知识的过程。 （2 ）数据挖掘，又称为数据库中知识发现 （Knowledge （2 ）数据挖掘，又称为数据库中知识发现 （Knowledge Discovery in Databases ）或知识发现，它是一个从大量数 Discovery in Databases ）或知识发现，它是一个从大量数 据中抽取挖掘出未知的、有价值的模式或规律等知识的非 据中抽取挖掘出未知的、有价值的模式或规律等知识的非 平凡过程，它与数据仓库有着密切的联系。 平凡过程，它与数据仓库有着密切的联系。 （3 ）广义的数据挖掘是指知识发现的全过程；狭义的数据 （3 ）广义的数据挖掘是指知识发现的全过程；狭义的数据 挖掘是指统计分析、机器学习等发现数据模式的智能方 挖掘是指统计分析、机器学习等发现数据模式的智能方 法，即偏重于模型和算法。 法，即偏重于模型和算法。 （4 ）数据库查询系统和专家系统不是数据挖掘！在小规模 （4 ）数据库查询系统和专家系统不是数据挖掘！在小规模 数据上的统计分析和机器学习过程也不应算作数据挖掘。 数据上的统计分析和机器学习过程也不应算作数据挖掘。  1.2 机器学习  1.2 机器学习 （1）对于某类任务T和性能度量P ，如果一个 （1）对于某类任务T和性能度量P ，如果一个 计算机程序在T上以P衡量的性能随着经验E 计算机程序在T上以P衡量的性能随着经验E 而自我完善，那么这个计算机程序被称为在 而自我完善，那么这个计算机程序被称为在 从经验E学习。 从经验E学习。 （2 ）机器学习是知识发现的一种方法，是指 （2 ）机器学习是知识发现的一种方法，是指 一个系统通过执行某种过程而改进它处理某 一个系统通过执行某种过程而改进它处理某 一问题的能力。 一问题的能力。  1.3 数据挖掘的对象  1.3 数据挖掘的对象 （1）关系型数据库、事务型数据库、面向对象的数 （1）关系型数据库、事务型数据库、面向对象的数 据库； 据库； （2 ）数据仓库/ 多维数据库； （2 ）数据仓库/ 多维数据库； （3 ）空间数据（如地图信息） （3 ）空间数据（如地图信息） （4 ）工程数据（如建筑、集成电路的信息） （4 ）工程数据（如建筑、集成电路的信息） （5 ）文本和多媒体数据（如文本、图象、音频、视 （5 ）文本和多媒体数据（如文本、图象、音频、视 频数据） 频数据） （6 ）时间相关的数据（如历史数据或股票交换数 （6 ）时间相关的数据（如历史数据或股票交换数 据） 据） （7 ）万维网（如半结构化的HTML ，结构化的XML （7 ）万维网（如半结构化的HTML ，结构化的XML 以及其他网络信息） 以及其他网络信息）  1.4 数据挖掘的步骤  1.4 数据挖掘的步骤 （1）数据清理（消除噪音或不一致数据，补缺）； （1）数据清理（消除噪音或不一致数据，补缺）； （2 ）数据集成（多种数据源可以组合在一起）； （2 ）数据集成（多种数据源可以组合在一起）； （3 ）数据选择（从数据库中提取相关的数据）； （3 ）数据选择（从数据库中提取相关的数据）； （4 ）数据变换（变换成适合挖掘的形式）； （4 ）数据变换（变换成适合挖掘的形式）； （5 ）数据挖掘（使用智能方法提取数据模式）； （5 ）数据挖掘（使用智能方法提取数据模式）； （6 ）模式评估（识别提供知识的真正有趣模式）； （6 ）模式评估（识别提供知识的真正有趣模式）； （7 ）知识表示（可视化和知识表示技术）。 （7 ）知识表示（可视化和知识表示技术）。  1.5 支持数据挖掘的关键技术  1.5 支持数据