图模型理论及在数据发掘中的应用.pdfVIP

第36卷 南京大学学报(自然科学) v01．36 0F 计算机专辑 JOURNALNANJ【NGUNⅡV职SIrY C蛳p姗Iss∽ 图模型理论及其在数据发掘中的应用· 李刚 童叛 (上海大学计算机科学系．上海，200072) (中国科学院软件研究所，北京，1000鲫) 纂要散据发掘，知识发现过程中妞何有效地利用先验知识是当前需要解决的关键何最之一． 田模型作为一种概率型知识表示方法．特别适台于数据发掘中的知识表示与知识求精．奉文 用述了救据发掘与机器学习、统计学之间的关系．介绍了图模型理论的基奉概禽和性质，提 出了基于圈模型的数据发掘，知识发现框集，井分析了圈模型推理、学习算法．最后指出了图 模型理论在数据发掘应用中尚需解砍的主要问腰． 关蕾调田模型，有向图模型，数据发掘．机器学习 O引言 随着产生和采集数据能力的迅猛增长，人们迫切需要有关的技术和工具来自动地从 数据中寻找有用知识，这就是数据发掘成为一个越来越重要的研究方向的原因所在。然 而，目前敷据发掘算法大多难以利用应用领域中已有的先验知识，而且内部结构与现实 世界之间存在较大差异，这往往造成所发掘的知识难以理解。作为概率论与图论相结合 的产物．图模型提供了将先验知识结台到数据发掘过程中的方法，并可将问压域中因果 关系定性地表示为拓扑结构。统计学、模式识别、机器学习、信息论等领域中许多经典 的多变量概率模型都可看作是图模型的特例¨J。其实，早在20世纪80年代有向图接型 就作为一种概率型知识表示方法，在专家系统中得到了成功应用；此外，兴起于20世纪 90年代后期的图模型学习研究，致力于从大量数据中构造合适的围模型，这也为数据发 掘，知识发现提供了新的思路。 I数据发掘 1．1数据发掘与机器学习、统计学 数据发掘、机器学习、统计学都研究从实验数据中寻求有价值的规律、模式等，具 有很大相似性。也有报多人认为数据发掘就是将机器学习用于丈数据集．但是它们之间 ‘国家自然科学基金资助课题(6驰73∞1)．第一作者简介：李刚．博士生． 计算机专辑 李剐等：围模型理论及其在数据发I中的应用 47 存在着一些根本不同：首先，机器学习研究通常假定数据中存在有可学习的概念或内在 机制，而数据发掘的研究中，数据是占首位的主要因素，一般不能确定是否隐薯有概念、 或蕴含有内在运行机制；第二，机器学习一般致力于建立现实系统内在运行机制的表示 模型，而敷据发掘则更强调所发现知识的可理解性，一般要求所发掘的知识能够显示地 表示为可以理解并加以利用的知识：最后，机器学习算法所处理的数据集一般规模较小． 而数据发掘通常面对的是较大的数据集。 在统计学中，很早就出现了同数据发掘相对应的名词：“解释性数据分析”．它也非 常强调分析结果的可理解性捌．当前的数据发掘系统中经常采用统计学方法来进行建模， 或利用统计分析方法进行数据预处理。将统计学、机器学习的方法和技术结合到数据发 掘过程中来．可利用统计方法对数据集进行预处理．再通过启发式方法来确定最有希望 的模型，从而有希望取得最佳的数据发掘效果。 1．2数据发曩面临的问置 目前在不同的应用领域中出现了许多较为成功的数据发掘系统．甚至还出现了若干 数据发掘工具，但是数据发掘要取得突破性进展，获得更大的社会、经济效益，还需要 解决如F问题： (” 高维数据问题：随着数据集中属性豹增加，数据发掘算法的搜索空间也随之呈 指数级增加．此外．高维数据的存在，也增加了所发现知识中存在冗余的概率。 因此，减少数据发掘算法所处理的数据维数，或研究对维数不敏感的算法，这 对拓宽数据发掘的实际应用极为重要． ’ (2)先验知识的利用：当前大多数数据发掘方法难以将问趣域中先验知识结合到数 据发掘过程中，利用先验知识将可避免发现冗塞知识，并可提高数据发掘效率