分布式环境下的数据库知识发现.pdfVIP

清华大学学报(自然科学版)09／57 堑塑塑堑竺=!!里 1111堑篁竺童 !!!：!!!!!至堡!!!!!查兰：!!!!兰!垒三!!!! 分布式环境下的数据库知识发现“ 变忠植，潘谦红，李威，李云峰 中国科学院计算技术研究所智能开放实验塞，北京i00080 一薹 奉业提出，n分布式环境下毕卜罩多动生悼的KDD系统．讨论r系统的体系结构、 知i}{发现算法及移动主体n夺采统中的T作原埋。它对分布』℃叫、境下，特别是Jrltellilet下 麓现人规模不嗣类型的数据的隐禽f方息提供J7‘种自敏的途径。 美t词分布式环境．数据库知识发啦．移动主体．机器学习 1引言 in Discovery 数据J车知识发现(Knowledge 般是以一种集中式的数据库形式统一存储，绕一处理。而当今』、泛流行的分布式与网络 环境存在人量的中间计算结果，浪费网络带宽。田此充分利_【{{服务器集台资源进行合作 研究为此提供了有效的1．具。‘“： 本文拟在分布式环境F，运}lj移动_t体技术进行数据库知识发现，即在网络环境F， 从大龉异构结构的公共原始数据(比如股票行情等)中筛选和提炼出有价值的、易于理 解的知识提交给Hl户。全文讨论二二个问题：分布式环境r的KDD系统体系结构、知识发 现算法以及移动主体在本系统中的l：作原理。 2分布式环境下的协D系统结构 分布式环境F的KDo系统就趋佐州户提{U数据开采的要求厉，根据开采任务韵不同， 对网络上不同的地理位置的人规模数据经过抽取算法的处理，产生候选模式。这些模式 经过评价后提交给H3户。分布式环境卜的KDD系统结构如图1所示： 由幽1可以看到，分布式环境r的KDD系统主要由而部分组成： 2．1输入 主要由川户定义发现任务和提供一定的领域知识，从而提高知识发现的效率，也可 避免发现那些瑚户不感兴趣的知识。 ’奉项研究得到同家自然科学雄龠资助 史患檀．等：分布式环境下的数据库知识发现 翻1分布式环境下的KDn系统的体系结构 2．2数据预处理 完成定义发现任务的功能。根据州户输入，确定发现任务，找出与发现任务相关的 知识源——与发现任务相关的、分布在网络环境_F的数据库。 数据预处理部分主要由分布式环境F的备个数据主体组成，每个数据主体由移动主 体(mobileagent)实现，对本地数据库进行数据预处理。移动主体系统中传输的对象 并非是系统，而是独立于运行平台的程序(移动主体)．通过一定的传输机制把自己或其 子主体传输到另一台计算机平台上，采J{j这种方式传输的程序应相对丁．网络带宽较小， 且能处理异构环境下的数据。数据主体就是依靠移动主体的移动机制获得其分配的发现 任务并根据数据字典提供的信息对任务进行定义、分解。 根据KDD任务的要求及分布式环境的特点．数据预处理时备数据主体之间要进行协 作，台理分配资源，协调各主体间的操佧，以防It多主体间严重冲突和北锁。数据主体 接受到一个发现任务后，根据任务类删和各数据土体自身的能力执行任务。同时它不断 地检测其它数据主体的当前状态，当本主体不能满足任务的需求时，通过移动机制将任 务移交给其它“称职”的数据主体继续执行。这样这些数据主体在移动主体的协调下， 相互通信、相互合作咀完成再个发现任务 2．3开采主体 开采主体是知识发现的核心，系统根据发现任务进行数据搜索、模式抽取。它负责 完成从具体数据到抽象知识的提炼转化，其处理对象是存储在数据库中的人规模原始数 据，其目的是抽取出具有必然性的、富有意义的模式，作为有助丁人们实现其目标的知 识，找出人们对所需问题的解答∞】。该部分可集成多种知识发现1‘具．采取多种不同算 法以适应不同发现对象和不同发现任务的需要，如依赖l芙系的发现可采朋概念提升技术、 粗糙集方法。数据议程的发现可采_}}j同lJ]分析。有关时间序列预报等模式的发现，可采 用神经网络BP算法等。 2．4评价主体 评价主体分为用户评价和机器评价两个方面。用户评价是指