高级人工智能43.pptVIP

史忠植 高级人工智能 高级人工智能 主要内容 研究背景 MSMiner体系结构 元数据 数据仓库平台 数据采掘集成工具 典型的知识发现系统 知识发现工具SAS 知识发现工具SAS 知识发现工具Intelligent Miner 知识发现工具Clementine 数据挖掘工具: 公用系统 MLC++ Matlab Weka 知识发现工具MSMiner MSMiner的特点 提供决策树、支持向量机、粗糙集、模糊聚类、基于范例推理、统计方法、神经计算等多种数据挖掘算法，支持特征抽取、分类、聚类、预测、关联规则发现、统计分析等数据挖掘功能，并支持高层次的决策分析功能。 实现了可视化的任务编辑环境，以及功能强大的任务处理引擎，能够快捷有效地实现各种数据转换和数据挖掘任务。 可扩展性好。转换规则和挖掘算法是封装的、模块化的，系统提供了一个开放的、灵活通用的接口，使用户能够加入新的规则和算法。 容易进行二次开发。 数据仓库: 特征 面向主题 集成性 稳定性 随时间变化 数据仓库: OLAP ROLAP: Relational OLAP MOLAP: Multidimensional OLAP HOLAP: Hybrid OLAP 数据挖掘和数据仓库的结合 数据仓库为数据挖掘提供经良好处理的数据源 数据挖掘为数据仓库提供深层数据分析手段 MSMiner体系结构 设计目标： 　提供快捷有效的数据挖掘解决方案。 设计要求： 开放性 可扩展性 效率 易用性 MSMiner体系结构 元数据的内容 关于外部数据源的 关于内部数据的（包括数据库、表、字段的信息） 关于数据仓库的（包括事实表、维表、立方以及其它的中间表） 关于用户信息的 数据采掘算法（包括算法的参数信息） 关于采掘任务的（包括采掘步骤、每个步骤的所用的参数） 元数据：元数据库 元数据：元数据对象模型 设计思路 一致性 完备性 易维护性 元数据的结构 数据仓库平台：结构 数据仓库平台：数据抽取和集成 数据的简单抽取和集成 数据的复杂处理 面向数据挖掘的数据预处理 数据抽取和集成: MSETL MSETL系统作为MSMiner数据挖掘平台的一个重要组成部分，主要完成从业务数据源到分析数据源的转换功能。具体包括从异质业务数据源中抽取需要的数据，对这些数据进行多种预处理，把经过处理后的数据装载入指定数据仓库/数据库 数据抽取和集成: MSETL 数据抽取和集成: MSETL 支持多种数据源和目的数据库 良好的可扩充性 高效率的调度执行功能 增量更新功能 数据抽取和集成: MSETL 数据抽取和集成: MSETL 数据仓库平台：数据仓库建模 OLAP MOLAP, ROLAP, HOLAP OLAP 的操作 Slice （切片） Dice （切块） Roll up （上卷） Drill down （下钻） Pivot （旋转） OLAP方案采用了自主开发的 OLAP Server 数据仓库平台：OLAP的实现 数据挖掘集成工具：结构 数据挖掘集成工具：数据挖掘任务模型 数据挖掘集成工具：数据挖掘任务模型 步骤对象BNF语法定义： StepObject ::= Attribute_List;Method_List Attribute_List ::= [Attribute|Attribute;Attribute_List] Attribute ::= Name,Value Method_List ::= [Method|Method;Method_List] Method ::= Name,Script Name ::= [char|string] Value ::= [char|string|integer|float] Script ::= DML_Sentence* 数据挖掘集成工具：编辑任务模型 任务向导 数据挖掘集成工具：编辑任务模型 任务编辑图板 数据挖掘集成工具：处理任务模型 数据挖掘集成工具：处理任务模型 任务规划和解释执行 数据挖掘集成工具：DML语言 DML函数 数据挖掘集成工具：内嵌 决策树 SOM神经网络 粗糙集 关联规则 知识约简 知识约简——在保持知识库的分类或决策能力不变的条件下，删除其中不相关或不重要知识 冗余知识——资源的浪费；干扰人们作出正确而简洁的决策 Rough Set——把那些无法确认的个体都归属于边界线区域，而这种边界线区域被定义为上近似集和下近似集之差集（Z.Pawlak ） 知识约简是粗糙集的核心内容之一 数据挖掘集成工具：外联 BP神经网络 统计分析 模糊聚类 超曲面分类 SVM 贝叶斯网络 基于范例推理(CBR) 隐马尔科夫模型(HMM) 统计工具 线性回归模型——一