第六章 数据挖掘及知识发现.pptVIP

第六章数据挖掘与知识发现 提 纲 知识发现与数据挖掘的基本概念 数据挖掘方法和技术 数据挖掘的知识表示 知识发现与数据挖掘的基本概念 知识发现的定义 知识发现的研究问题 知识发现的过程 知识发现系统的结构 知识发现的定义（KDD,Knowledge Discovery in Database） 知识发现是用一种简洁的方式从大量数据中抽取信息的一种技术，所抽取的信息是隐含的、未知的，并且具有潜在应用价值。 知识发现可看成是一种有价值信息的搜寻过程，它不必预先假设或提出问题，仍然能够找到那些非预期的令人关注的信息，这些信息表示了不同研究对象之间的关系和模式。它还能通过全面的信息发现与分析，找到有价值的商业规则。 知识发现意味着在数据仓库或数据集市的几千兆、几万兆字节数据中寻找预先未知的商业模式与事实。 知识发现的研究问题 定性知识和定量知识的发现 知识发现方法 知识发现的应用 知识发现的过程 数据准备 数据挖掘 结果的解释和评估 知识发现的过程 数据准备 数据集成：对数据进行合并处理、数据检查和清洗工作 数据选择：缩小处理数据的范围，提高数据挖掘的质量 数据预处理：削减数据维数或降维，克服数据挖掘工具的局限性 知识发现的过程 数据挖掘 探索性数据分析：利用图形化方式对数据进行探索 描述建模：描述数据的所有特征 预测建模：建立一个根据已知变量预测其它变量的模型 分类 回归 寻找模式和规则：进行模式探测 根据内容检索：根据用户感兴趣的模式建立相似的模式 知识发现的过程 结果的解释和评估 结果的解释 结果不满足用户要求，换一种挖掘方法 结果非常抽象，换一种容易理解的方法 结果的评估 所采用的数据挖掘技术的有效性 用于挖掘的数据质量和数量 知识发现系统的结构 知识发现系统管理器 知识库和商业分析员 数据仓库的数据库接口 数据选择 知识发现引擎 知识发现评价 知识发现描述 知识发现系统的结构 知识发现系统管理器： 作用是控制并管理整个知 识发现过程 知识发现系统的结构 知识库和商业分析员 知识库包含了源于各方面 的知识。商业分析员要按 一种有效的方式指导关注 信息的发现。 知识发现系统的结构 数据仓库的数据库接口 知识发现系统的数据库接口 可以直接与数据仓库通信。 知识发现系统的结构 数据选择 确定从数据仓库中需要抽 取的数据及数据结构 知识发现系统的结构 知识发现引擎 将知识库中的抽取算法提 供给数据选择构件抽取的 数据 知识发现系统的结构 知识发现评价 有助于商业分析员筛选模式， 选出那些关注性的信息 知识发现系统的结构 知识发现描述 发现、评价并辅助商业分 析员在知识库中保存关注 性发现结果以备将来引用, 并保持知识发现与管理人 员的通信 知识发现与数据挖掘的基本概念 数据挖掘的进化历程 数据挖掘的任务 数据挖掘的分类 数据挖掘的对象 数据挖掘与专家系统的区别 知识发现与数据挖掘的基本概念 数据挖掘的进化历程 数据挖掘的任务 数据挖掘的分类 数据挖掘的对象 数据挖掘与专家系统的区别 数据挖掘的进化历程 数据挖掘的进化历程 数据挖掘的范围 数据库可以由此拓展深度和广度 数据挖掘的进化历程 数据挖掘的范围 数据库可以由此拓展深度和广度 数据挖掘的范围 “数据挖掘”这个名字来源于它有点类似于在山脉中挖掘有价值的矿藏 在商业应用里，它就表现为在大型数据库里面搜索有价值的商业信息 这两种过程都需要对巨量的材料进行详细地过滤，并且需要智能且精确地定位潜在价值的所在。 对于给定了大小的数据库，数据挖掘技术可以用它如下的超能力产生巨大的商业机会： 自动趋势预测 自动探测以前未发现的模式 数据挖掘的范围 “数据挖掘”这个名字来源于它有点类似于在山脉中挖掘有价值的矿藏 在商业应用里，它就表现为在大型数据库里面搜索有价值的商业信息 这两种过程都需要对巨量的材料进行详细地过滤，并且需要智能且精确地定位潜在价值的所在。 对于给定了大小的数据库，数据挖掘技术可以用它如下的超能力产生巨大的商业机会： 自动趋势预测 自动探测以前未发现的模式 自动趋势预测 数据挖掘能自动在大型数据库里面找寻潜在的预测信息。传统上需要很多专家来进行分析的问题，现在可以快速而直接地从数据中间找到答案。 一个典型的利用数据挖掘进行预测的例子就是目标营销。数据挖掘工具可以根据过去邮件推销中的大量数据找出其中最有可能对将来的邮件推销作出反应的客户。 数据挖掘的范围 “数据挖掘”这个名字来源于它有点类似于在山脉中挖掘有价值的矿藏 在商业应用里，它就表现为在大型数据库里面搜索有价值的商业信息 这两种过程都需要对巨量的材料进行详细地过滤，并且需要智能且精确地定位潜在价值的所在。 对于给定了大小的数据库，数据挖掘技术可以用它如下的超能力产生巨大的商业机会： 自动趋势预测