知识发现系统框架及其理论体系的构造方法论 - 中国工程科学.PDF

知识发现系统框架及其理论体系的构造方法论 杨炳儒 (北京科技大学计算机与通信工程学院,北京 100083) [摘要] 当前知识发现的主流发展是围绕着寻求在各类数据库和应用背景下高性能、高扩展性的挖掘算法 这一主题而展开的。 事实上有比算法重要的决定挖掘流程的过程模型的研究,还有更为重要的决定模型和 算法的内在机理(反映知识发现系统或过程本身规律)的研究,尚未得到应有的重视。 笔者另辟蹊径,将所论 三者有机地融合与集成,构造了一类基于认知心理特征的自主知识发现“系统框架”,通过对类似的几类“系 统框架”的交叉融合、综合集成,构造出基于内在认知机理的知识发现理论体系KDTICM。 研究与实验结果表 明:这种高起点、高层次的构造方法论研究,有可能形成高效能挖掘系统与新的研究方向;这种构造方法论的 研究,可使长时间得不到解决的“领域知识实质性地介入到知识发现过程中”对知识库进行“动态实时维护” 等重要问题得以解决;通过揭示知识发现的潜在规律与复杂性,可反作用于主流发展。 最后,给出了此种构 造方法有效性的有力佐证。 [关键词] 双库协同机制;过程模型KDD倡;Maradbcm 算法;系统架构MMAKDS;理论体系KDTICM [中图分类号] TP182 [文献标识码] A [文章编号] 1009 -1742(2011)09 -0083 -09 目前,许多有关知识发现的研究或者没有深入 1 前言 探讨其理论基础,或者没有给出具体的实现方法。 数据库中的知识发现(KDD,knowledge discov ‐ 因此,无法从根本上明显提高现有知识发现过程的 ery in database)是一门新兴的交叉学科。 通过对现 性能,也无法解决 KDD 发展过程中极富挑战性的 今各种KDD 系统十几年的跟踪可见:不同领域学者 一些问题。 事实上,有关知识发现的研究成果只是 对其研究的视角不同,主要包括从数据库的角度进 提供了KDD 的方法论基础,而要真正构建其理论体 行研究,它强调知识发现的效率(efficiency)[1,2];从 系,必须抓住 KDD 的本质,形成与其本质相适应的 机器学习的角度进行研究,它强调知识发现的有效 理论基础。 KDD 的本质何在?至少有两个可信的 性(effectiveness)[3,4];从统计分析的角度进行研 路径:一个是将KDD 过程(系统)视为认知过程(系 [5,6];从微观经 究,它强调知识发现的正确性(valid) 统),不是转化为认知系统中;另一个是将 KDD 过 [7] 程(系统)视为非线性动力系统中非平衡态转化的 济学的角度进行研究 ,它强调的是知识发现的最 大效用。 2003 年8 月27 日在华盛顿召开了第九届 过程(系统)。 笔者从前者出发,经近十余年的研究 知识发现与数据挖掘国际会议,参与讨论的专家一 得到如下结果。 致认为:“数据挖掘正面临着巨大的机遇和挑战”; 2 基于认知沿机理—模型—算法线路构造 “从科学发展的长远来看,最大的绊脚石是基础理 的自主知识发现“系统框架” 论的缺乏以及所面临的问题和挑战的清晰明白的阐 述”[8]。 现代研究表明:分层递阶结构是降低系统复杂 [收稿日期] 2010 -07 -30 [基金项目] 国家自然科学基金项目60875029 [作者简介] 杨炳儒 (1943—),男,天津市人,北京科技大学教授、博士生导师,主要研究方向为知识发现与