数据库知识发现中信息论的应用.pdfVIP

清华大学学报(自然科学版) 14／57 of 1998年第38卷 Journal University(Sci＆Tech)第s2期第54～59页 Tsinghua 数据库知识发现中信息论的应用。 刘伟宏，李晋晋，徐洁磐，陈 栋 南京大学计算机软件新技术国家重点实验室．计算机辩学与技术系．南京210093 E-mail：xujiepan@n如+edu．cn 摘要 本文首先简单介绍r数据库知识发现韵一般概念和信息论的部分艨理，接着详 细介绍r数据库知识发现中信息论的艇用．把信息论中自信息量、互信息量的理论应 用卡数据库特征规则和分类规则的发现过程．强后给小，具体的应用倒于。 关键词自信息量；且．精息量：特征规则；分类J{l!则苏强’’i姜·；? 引言 “人类正被数据所淹没，但人类却饥饿r知识。”在这种情况卜-，数据库知识发现 Di in (KnowledgescoveryDatabases。KDD)，义称数据挖掘(Data Mining)这个新的 研究课题出现了。它的目的是发现数据j荦中数据的内在联系、从数据库中的原始数据中 抽象出其中的信息。 数据库知识发现算法有很多种。本文提出的基丁信息论的知识发现算法有发现知识 迅速、产生知识简洁、可信度高等优点，并且该饽法可用丁数据库的多种知识发现过程。 本文茸先简单介纠了数据库知识发现的一般概念和信息论的部分原理．接着详细介 绍了信息论住数据库知识发现中的分类知识发现中的商i}j，最后给出了一个具体麻用。 1．数据库知{=}{发现的一股概念 数据库知识发现系统以数据库中的原始数据佧为输入数据，对这些原始数据进行分 析、抽象，以得到数据库中蕴涵的有意义的“知识”。 数据库中的知识造数据库中数据之闻的一种逻辑笑系。它是描述数据库中数据的共 性或内在联系的、较原始数据更为抽象的模式(1)。数据库知识发现．就是对这种模式的 0：695730|4 ·本文的T忭得到隔寰自然科学罐套项H资助，项H 刘伟宏，等，散据库知识发现中信息论的应用 s5 提取。 A 一般用一阶谓词逻辑形式来表示知识。。一阶谓词逻辑形式，就是形如“年龄=30 性别=FemaleA文凭=人学睁娇否=已娇”之类的描述性语句。 数据库蕴涵的知识有很多，在本文中我#J关心和研究的有特征规则、分类规则两种。 65．3％”之类 特征规则就是形如“年龄在20到60岁之间并且性别为男性的职1+tII 的知识。特征知识描述并概括r一个数据记录集合中的数据所具有的共性。 分类规则就是形如“如果一个业务员的年龄在20到30岁之间并且学历为本科．则 这个业务员的业务为中等的可能性为80．6％”之类的知识。分类知识描述并概括了分别处 于不同类别的数据记录集合中的数据所具有的不同丁其它类别的数据的特征。 2．信息论及其部分原理 数据库知识发现的目的就是挖掘数据库中人越数据中蕴涵的知识和信息，因此信息 论中的一些理论和原理对数据库知识发现中相应算法的研究具有重要的意义。F面我们 就来介绍一些信息论的概念幂I公式。 信源：信息的来源．它一般以符号的形式发出信息。 臼信息鼙：就是某一信号值所带的信息鼙。它的计算公式是 I(a)=一1n(P(a))： 其中A是信滁输出符号的取值的集合，a楚信源符号的散