现代信息管理的深化_数据挖掘和知识发现的发展趋势.docx

现代信息管理的深化——数据挖掘和知识发现的发展趋势黄晓斌邓爱贞(中山大学信息管理系广州510275)【摘要】概述现代信息管理的发展方向之一——对信息的内容进行分析和深层次开发利用;论述了数据挖掘和知识发现的发展趋势与特点。【关键词】信息管理数据挖掘知识发现发展趋势【分类号】G350TheDevelopmentTrendsofDataMiningandKnowledgeDiscoveryHuangXiaobinDengAizheng(DepartmentofInformationManagement,ZhongshanUniversity,Guangzhou510275,China)【Abstract】Thisarticlesummarizesoneofthedevelopmentdirectionofmoderninformationmanagement,discussesthedevelopmenttrends,characteristicsofthedataminingandknowledgediscovery.【Keywords】InformationmanagementDataminingKnowledgediscoveryDevelopmenttrends现代信息管理的发展趋势之一是从信息的载体形式管理向内容的知识管理深化。长期以来,图书情报部门工作主要是对信息的载体进行管理,以提供信息的外在特征服务为主。随着大量的信息资源的增多,人们对信息的利用要求已经不止满足一般文献的检索和原件的获取,而且还要对信息内容进行深入的分析,因为仅一般的查询和检索不能帮助用户获得结论性的认识,而且信息资源不能得到充分的利用。近年来,数据库技术得到了迅速的发展,许多领域都建立大量的数据库,并通过网络形式提供有关的服务。数据库大量的数据中隐藏着许多有价值的信息,是不可多得的知识信息源,而目前的数据库系统一般只限于一些基本的数据查询操作,通过数据库管理系统只能对数据“粗加工”,不能从这些数据中归纳出隐含的带有结论性的知识,使得这些有用知识不为人知,无法利用,实际上是对数据库信息资源的一种浪费。因此,对数据的进一步加工和内容分析显得越来越重要。在这样的背景下,数据仓库、数据挖掘和知识发现等技术应用而生。数据挖掘和知识发现是数据库技术的深层次的应用,它能从大量数据中抽取出具有一定规律的知识,深层次的开发可以进一步提高信息资源的使用价值,充分利用信息资源,提高使用效益。数据挖掘和知识发现为给决策分析带来了新的途径,能更好地解决日益复杂多变的决策环境问题,进一步提高了决策的准确性和可靠性,为科学决策提供了基础。数据挖掘和知识发现是知识管理的需要,信息是巨大的社会财富,知识发现可以更为全面地获取信息并深入地对信息进行分析,认识有关的规律,产生最大限度的升华,不断形成新的知识,从而转化为生产力,提高竞争能力。知识发现,又叫数据库中的知识发现(KnowledgeDiscov2eryinDatabase,简称KDD),是指从大量数据集合中识别出有效的、新颖的、潜在有用的以及最终可理解模式的高级处理过程,数据挖掘(DataMining)是知识发现过程的一个主要的步骤。“知识发现”一词最早是1989年8月在美国底特律的第11届国际人工智能联合会议的专题讨论会上首次出现的。美国随后几年举行了有关知识发现专题讨论会。1995年在加拿大召开了第一届知识发现和数据挖掘的国际学术会议,从此以后,知识发现与数据挖掘开始流行起来。作为一门新兴的研究领域,知识发现一经出现立即受到广泛的关注。知识发现被认为是今后具有重要影响和应用前景的关键技术,目前国际上知识发现的研究方向主要是以知识发现的任务描述、知识评价与知识表示为主线、有效的知识发现算法为中心、知识发现模型为重点,研究知识发现自身的运行机制和内在机理以及在各领域中的实际应用。其发展的趋势主要表现在如下几个方面。1知识发现的数据源多样化目前大多数数据库管理系统是关系型的,因此数据挖掘大都是建立在关系数据库上。随着数据库的应用范围日益扩大,数据库的规模和功能业日益完善,新的数据库模型和大量新的复杂的数据类型在不断地出现。数据挖掘可以揭示大型异构数据库中存在的普通查询所不能发现的知识。巨大的数据库规模、异地分布及数据挖掘方法的计算复杂性要求建立并行分布数据挖掘算法。由于数据类型的多样性和不同的数·1·收稿日期:2003-02-26庆祝100期征文《现代图书情报技术》2003年第4期总第102期据挖掘目标,一个数据挖掘系统不可能处理各种数据,因此针对特定的数据类型,需要建立特定的数据挖掘系统。不同应用领域中存在各种数据库,包含复杂的数据类型,例如结构数据、事务数据、历史数据等。目前的数据挖掘工具一般只能提供对数值型的结构化数据的