高级人工智能-知识发现讲义.ppt

* * 数据仓库平台：OLAP的实现 * * 数据挖掘集成工具：结构 数据挖掘集成工具结构示意图 数据仓库平台 任务编辑 任务规划 和执行 算法库 算法管理 元数据 任务模型库、算法描述 * * 数据挖掘集成工具：数据挖掘任务模型 Step1 Step2 Step4 Step3 Step5 DMTask = (V, R) V = {x | x ∈StepObjects} R = {x, y | P(x, y) ∧ x, y∈V} * * 数据挖掘集成工具：数据挖掘任务模型 步骤对象BNF语法定义： StepObject ::= Attribute_List;Method_List Attribute_List ::= [Attribute|Attribute;Attribute_List] Attribute ::= Name,Value Method_List ::= [Method|Method;Method_List] Method ::= Name,Script Name ::= [char|string] Value ::= [char|string|integer|float] Script ::= DML_Sentence* * * 数据挖掘集成工具：编辑任务模型 任务向导 * * 数据挖掘集成工具：编辑任务模型 任务编辑图板 * * 数据挖掘集成工具：处理任务模型 人机界面 主控模块 规划器 解释器 缓存 函数库 黑板 任务模型库 数据采掘任务处理引擎的结构 * * 数据挖掘集成工具：处理任务模型 任务规划和解释执行 S1 S3 S2 S4 S5 S1 - S2 - S3 - S4 - S5 * * 数据挖掘集成工具：DML语言 DML函数 人机交互和控制台输入/输出 数值计算 字符串处理 图形、图表展示 文件操作 数据库访问 网络通讯 对象访问 消息处理和流程控制 黑板操作 外部功能调用 其它辅助功能 * * 数据挖掘集成工具：内嵌 决策树 SOM神经网络 粗糙集 关联规则 　　 * * 决策树 * * 知识约简 知识约简——在保持知识库的分类或决策能力不变的条件下，删除其中不相关或不重要知识 冗余知识——资源的浪费；干扰人们作出正确而简洁的决策 Rough Set——把那些无法确认的个体都归属于边界线区域，而这种边界线区域被定义为上近似集和下近似集之差集（Z.Pawlak ） 知识约简是粗糙集的核心内容之一 * * Rough Set约简 * * 数据挖掘集成工具：外联 BP神经网络 统计分析 模糊聚类 超曲面分类 SVM 贝叶斯网络 基于范例推理(CBR) 隐马尔科夫模型(HMM) * * BP用于预测 * * 统计工具 线性回归模型——一元线性回归、多元线性回归、逐步回归 非线性回归模型——二次曲线、三次曲线、指数曲线、幂指数曲线、生产函数等模型 确定型时间序列模型——指数平滑法、趋势移动平均法（水平趋势、线性趋势和二次曲线趋势）、成长曲线模型（Compertz曲线、Logistic曲线和修正指数曲线 ）、季节指数法 随机型时间序列模型（自回归－移动平均模型ARMA） 相关分析 * * 自回归移动平均( ARMA) * * 模糊聚类 基于传递闭包的模糊聚类——计算模糊相似矩阵的传递闭包，从而获得传递闭包法的模糊聚类 基于摄动的模糊聚类——参数系?相似矩阵的最优模糊等价阵及其等价标准型?获得失真最小的模糊聚类 * * 数据挖掘集成工具：可扩展算法库 算法注册 * * MSMiner的应用：计算机选案 决策树选案 执行选案 选案结果分析 定义样本模板 训练样本数据 选案规则 样本数据表 数据汇总表 税务稽查计算机选案系统功能结构 * * MSMiner的应用：计算机选案 挖 掘 结 果： * * 进一步的工作 与用户合作开发应用实例 进一步完善工作流 完善和丰富数据挖掘算法库 算法评测功能。 * * /shizz/ Questions?! * Thank you! * * * * * 高级人工智能 知识发现 * * 主要内容 研究背景 MSMiner体系结构 元数据 数据仓库平台 数据采掘集成工具 * * 典型的知识发现系统 SAS公司的SAS Enterprise Miner IBM公司的Intelligent Miner Solution公司的Clementine 加拿大Simon Fraser Univ.的DBMiner 中科院计算技术研究所的MSMiner 等 * * 知识发现工具SAS SAS公司的SAS Enterprise Miner是一种通用的数据挖掘工具。通过收集分析各种统计资料和客户购买模式，SAS Enterprise Miner