基于KDD知识自动获取及其应用.pptVIP

主要内容 一、研究背景及意义 二、基于KDD的知识自动获取模型概述 三、基于知识库的KDD 四、自动演化知识库 五、模型在自动化测井数据分析中的应用 六、总结与展望 研究背景及意义 知识获取研究概述 知识获取的基本过程 知识获取研究的主要内容 知识自动获取研究发展 KDD (Knowledge Discovery in Databases)研究概述 KDD的基本过程 KDD的主要任务 数据挖掘的常用方法 KDD的应用 本文的研究目的 知识获取的基本过程 人类学习知识的基本过程 知识获取的基本过程 知识获取的基本过程 知识获取的基本过程 人类学习知识的基本过程 知识获取研究的主要内容 知识抽取 知识自动获取研究发展 非自动的知识获取 知识自动获取研究发展 运用机器学习方法构建知识库 Okamura 等人的钢铁工艺生产专家系统 Yamamoto 等人的高炉配料操作自动知识获取系统 中科院合肥智能所的农业病虫害专家系统 知识自动获取研究发展 利用KDD技术从数据中自动发现新知识 Mitchell 等人的燃气涡轮机故障检测TIGON系统 Takano 等人的可自动生成操作序列的范例学习工具 知识自动获取研究发展 存在的问题 KDD的基本过程 KDD 从大量数据中提取出可信的、新颖的、有用的且可以被人理解的模式的高级处理过程 五个步骤为：数据选择、数据预处理、数据转换、数据挖掘、模式解释/评价 KDD的主要任务 关联分析 分类 聚类 预测 时序模式 偏差检测 空间数据挖掘 Web数据挖掘 数据挖掘的常用方法 关联规则挖掘 决策树方法 统计方法 粗糙集方法 人工神经网络 遗传算法 KDD的应用 数据挖掘和知识发现系统 IBM Almaden研究中心的Quest 加拿大Simon Fraser大学的DBMiner ATT实验室的IMACS和Spotlight 中科院计算所的MSMiner KDD的应用 存在的问题 本文的研究目标 背景：中澳科技合作特别资金项目“数据挖掘技术在石油天然气勘探开发工程中的应用” 问题：动态环境下基于KDD的知识自动获取 方法：从研究基于知识库的KDD出发，将知识库中的知识作为先验知识引入KDD过程；进而研究知识库的自动演化机制，将KDD过程发现的新模式与知识库中的原有知识进行自动的知识检测与融合 目标：自动进行基于KDD的知识获取循环 基于KDD的知识自动获取模型 模型结构 主要子系统 约束生成 从知识库自动产生对KDD过程的约束 输入：知识库和KDD模块的参数 输出：对KDD过程的约束 基于约束的KDD 数据选择：依据相应的约束选出相关数据 数据预处理：筛选掉非法的记录并补齐缺失值 数据挖掘：基于约束的规则挖掘 解释/评价：根据规则的支持度、置信度、并结合其满足约束的程度对目标规则集进行处理 主要子系统 知识库管理 对所发现的新知识与知识库中的原有知识进行一致性检测和完整性检测，并对不一致和不完整的情况自动进行处理 知识应用 将知识库中的知识应用于实际的运行过程，并从外界获得反馈，与运行结果进行比较，计算误差，激发下一轮基于KDD的知识获取过程 两个误差阈值：平均误差阈值和严重错误阈值 在KDD等过程中，知识库不变且保持可用，知识库更新后也可以立即应用 相关工作比较 利用KDD过程辅助知识自动获取的方法 运用KDD过程从实际案例中发现知识建立知识库或验证知识库中的现有知识 将KDD过程发现的知识自动融入知识库 存在的问题 需要进行繁琐的手工操作 KDD独立于现有知识 本文模型的优点 利用KDD过程的发现结果建立和完善知识库 利用知识库中的现有知识指导KDD过程进行 基于知识库的KDD 基本思想 根据一定的约束生成机制自动从知识库中生成约束，这些约束在一定程度上反映了知识库中的现有知识 利用这些约束指导KDD过程的进行，实现基于约束的数据挖掘，即相当于利用知识库中的现有知识指导了KDD过程的进行 整个约束生成和基于约束的KDD过程都可以自动化地进行，减少了手工操作的任务量，极大地提高了模型的工作效率及其实时性。 模型知识库中的知识表示方法 采用面向对象的概念和技术，吸收了框架理论和语义网络的一些特点，并融合了产生式规则表示方法 关联规则挖掘 设I={i1, i2,…, im}是事务项的集合。设任务相关的数据D是数据库事务的集合，D中的每个事务T是一个事务项集且满足 。每一个事务有一个标识TID。设X是一个事务项集，事务T包含X当且仅当 。 关联规则是形如 的蕴涵式，其中 且 规则的支持度： 规则的置信度： 基于约束的关联规则挖掘 约束：包括数据约束、挖掘的维和层次约束、规则约束等 规则模板：用来表示用户希望探察或希望证实的、并且感兴趣