基于数据挖掘技术的中医药知识获取研究.docxVIP

基于数据挖掘技术的中医药知识获取研究 中医学是中华民族的瑰宝。中医的发掘是中医学现代化研究的重要组成部分。它是中医几千年来积累的宝贵史料的一个过程，也是一种重要的方法，有助于更好地促进中医药的发展，保持其优势和特色。 1 实现数据库的信息整合和数据的分类 数据挖掘(Data Mining,DM)是为解决“数据丰富,知识贫乏”状况而兴起的边缘学科之一,是从海量数据中获取知识的可靠技术。随着数据库技术的飞速发展及数据库管理系统的广泛应用,各个领域的数据库或数据仓库里面都收集了海量数据,现在人们已经不再满足于对数据库进行简单的查询,而是希望借助现代信息处理技术,能够得到隐藏在数据中反映事物本质和预测事物发展趋势的有用知识,并以这些知识为基础辅助科学决策。数据挖掘作为人工智能与数据库交叉融合的高级信息处理技术,在一定程度上可以帮助人们更好地实现这个目的。作为仍在迅速发展的领域,数据挖掘还没有形成统一的定义,比较公认的定义为“数据挖掘是从大量数据中抽取有效的、新颖的、潜在有用的以及最终可被理解的模式的非平凡过程”。目前与数据挖掘相关的常见术语为数据库知识发现(Knowledge Discovery in Databases,KDD),一般认为数据挖掘是数据库知识发现的一个需要反复进行的重要步骤。 数据挖掘的两大支柱为数据库技术和人工智能技术。数据库技术侧重于对数据存储处理高效率方法的研究,并对数据进行前端的结构化处理;而人工智能技术是侧重于从数据中高效率提取知识的研究方法。大量的数据中隐含着许多很有价值的模式或规律,数据挖掘能够自动地发现隐藏在数据中的模式或规律,也更能偶然地发现一些非预期但很有价值的知识;这些知识是否可用,除去相关领域专家的指导和评价外,数据本身统计方面的特性也是必不可少的,特别是对挖掘到的模式和关系进行解释和评价时,将会更多地应用到统计学的方法和思想。 作为数据库知识发现的重要步骤,要首先对数据库中已有的数据进行整理,并抽取出其中用来进行特定挖掘目标的数据集,然后选择合适的挖掘方法和工具,在目标领域专家的指导下进行反复的知识获取研究,并对事物的发展趋势进行预测。 在数据挖掘过程中,保证数据挖掘所用数据质量是非常重要的,也是耗费时间和精力最多的步骤。在垃圾数据中不可能发现金子,因此,对噪音信号和缺省数据处理清理是很重要的过程。同时,由于数据挖掘应用的数据只是针对某项目标的数据子集,其中的数据必须具有代表性。一般情况下,数据挖掘不包括数据的采集或收集过程,而是假定数据库中已经存有进行挖掘所需要的原始数据。 数据挖掘方法有许多种, 常用的有决策树 (Decision Tree)、 关联规则(Association Rule)、 人工神经网络(Artificial Neural Network, ANN)、 粗糙集理论(Rough Set Theory,RS)和遗传算法(Genetic Algorithm,GA)等,各方法因其原理不同,所得结果有时并不一致,但都能够在不同侧面反映事物的本质。因此,在数据挖掘过程中多种方法的交互与混合应用,将比单一方法更能有效地挖掘出所需要的知识。 数据挖掘的结果必须在相应目标领域专家的指导下进行解释和评价。由于数据挖掘的目标一般是非预期的规则或模式,在很多情况下这种非预期目标的意义不大,因此更需要数据挖掘工作者和目标领域专家的密切配合,没有领域专家指导的数据挖掘结果评价是没有意义的。数据挖掘的结果要求具有一定的新颖性,有时候得到的结果也是所期望的,事实上如果没有应用数据挖掘进行分析,或许不能够验证这些结果的可靠性。 以数据挖掘为知识获取工具,对海量数据分析的目的,是以挖掘的知识为基础实现对事物的发展趋势进行预测和控制,使得事物朝着预期的目标发展,在很多情况下这个目标能够实现,但也会出现将已建好的模型在对实际数据进行预测时,结果与预期目标差别很大的情况。出现类似情况的原因是多方面的,除去数据挖掘工具有待进一步完善外,原始数据质量的高低与采样数据是否有充分代表性,以及模型是否充分考虑到具体领域特点等都可能影响到预测的结果;而且在对大型数据库进行数据挖掘时,其结果往往是数据本身统计特征的体现,所反映的是对事物整个发展趋势的预测,并不是所有的样本都符合这种趋势。为了更好地将挖掘结果应用于现实世界,要求数据挖掘需反复地进行。 数据挖掘目前在许多领域都有成功的例子,在数据挖掘平台供应商SAS和SPSS以及一些专业网站上面均有相应介绍。如美国的AXA金融公司(AXA Finance Inc.)应用SAS公司的Enterprise Miner数据挖掘系统,通过对400万个客户进行客户关系管理(Customer Relationship Management, CRM)分析,可以比较轻松地判定客户拥有哪些保