数据挖掘技术的产生与发展.DOCVIP

第1章 绪 论 数据挖掘（Data Mining）是一个多学科交叉研究领域，它融合了数据库（Database）技术、人工智能（Artificial Intelligence）、机器学习（Machine Learning）、统计学（Statistics）、知识工程（Knowledge Engineering）、面向对象方法（Object-Oriented Method）、信息检索（Information Retrieval）、高性能计算（High-Performance Computing）以及数据可视化（Data Visualization）等最新技术的研究成果。经过十几年的研究，产生了许多新概念和新方法。特别是最近几年，一些基本概念和方法趋于清晰，它的研究正向着更深入的方向发展。 数据挖掘之所以被称为未来信息处理的骨干技术之一，主要在于它以一种全新的概念改变着人类利用数据的方式。20世纪，数据库技术取得了决定性的成果并且已经得到广泛的应用。但是，数据库技术作为一种基本的信息存储和管理方式，仍然以联机事务处理（On-Line Transaction Processing，OLTP）为核心应用，缺少对决策、分析、预测等高级功能的支持机制。众所周知，随着数据库容量的膨胀，特别是数据仓库（Data Warehouse）以及Web等新型数据源的日益普及，联机分析处理（On-Line Analytic Processing，OLAP）、决策支持（Decision Support）以及分类（Classification）、聚类（Clustering）等复杂应用成为必然。面对这一挑战，数据挖掘和知识发现（Knowledge Discovery）技术应运而生，并显示出强大的生命力。数据挖掘和知识发现使数据处理技术进入了一个更高级的阶段。它不仅能对过去的数据进行查询，而且能够找出过去数据之间的潜在联系，进行更高层次的分析，以便更好地预测未来的发展趋势 特别需要指出的是，数据挖掘技术从一开始就是面向应用的。它不仅是面向特定数据库的简单检索查询调用，而且要对这些数据进行微观、中观乃至宏观的统计、分析、综合和推理。这里所说的知识发现，不是要求发现放之四海而皆准的真理，也不是要去发现崭新的自然科学定理和纯数学公式。所有发现的知识都是相对的，是面向特定领域的，同时还要能够易于被用户理解。 1.1 数据挖掘技术的1.1.1 数据挖掘技术的商业需求分析 数据挖掘之所以吸引专家学者的研究兴趣和引起商业厂家的广泛关注，主要在于大型数据系统的广泛使用和把数据转换成有用知识的迫切需要。20世纪60年代，为了适应信息的电子化要求，信息技术一直从简单的文件处理系统向有效的数据库系统变革。70年代，数据库系统的三个主要模式：层次、网络和关系型数据库的研究和开发取得了重要进展。80年代，关系型数据库及其相关的数据模型工具、数据索引及数据组织技术被广泛采用，并且成为了整个数据库市场的主导。80年代中期开始，关系型数据库技术和新型技术的结合成为数据库研究和开发的重要标志。从数据模型上看，诸如扩展关系、面向对象、对象-关系（Object-Relation）以及演绎模型等被应用到数据库系统中。从应用的数据类型上看，包括空间、时态、多媒体以及Web等新型数据成为数据库应用的重要数据源。同时，事务数据库（Transaction Database）、主动数据库（Active Database）、知识库（Knowledge Base）、办公信息库（Information Base）等技术也得到蓬勃发展。从数据的分布角度看，分布式数据库（Distributed Database）及其透明性、并发控制、并行处理等成为必须面对的课题。进入90年代，分布式数据库理论上趋于成熟，分布式数据库技术得到了广泛应用。目前，由于各种新型技术与数据库技术的有机结合，使数据库领域中的新内容、新应用、新技术层出不穷，形成了庞大的数据库家族。但是，这些数据库的应用都是以实时查询处理技术为基础的。从本质上说，查询是对数据库的被动使用。由于简单查询只是数据库内容的选择性输出，因此它和人们期望的分析预测、决策支持等高级应用仍有很大距离。 新的需求推动新的技术的诞生。随着信息技术的高速发展，数据库应用的规模、范围和深度不断扩大，已经从单台机器发展到网络环境。近年来由于数据采集技术的更新，如商业条码的推广、企业和政府利用计算机管理事务的能力增强，产生了大规模的数据。数以百万计的数据库系统在运行，而且每天都在增加。决策所面对的数据量在不断增长，即使像使用IC卡和打电话这样简单的事务也能产生大量的数据。随着数据的急剧增长，现有信息管理系统中的数据分析工具已无法适应新的需求。因为无论是查询、统计还是报表，其处理方式都是