数据挖掘技术综述概论.pdfVIP

数据挖掘技术综述 ’王桂芹黄道 华尔理．I：人学信息科学与I：科学院，上海20023 ’ ‘ 一、 ， 摘要：随着计算机、网络技术的发展，获得有关资料非常简单易行。但对于数量大、涉及面宽的 数据，传统统计方法无法完成这类数据的分析。因此，一种智能化的、综合应用各种统计分析、数据 库、智能语言来分析庞大数据资料的“数据挖掘”(Data Mining)技术应运而生。本文主要介绍了数据 挖掘的基本概念以及数据挖掘的方法；本文对数据挖掘的应用及其发展前景也进行了描述。 关键词：数据挖掘方法应用前景 、． 1引 言 随着信息技术迅速发展，数据库的规模不断扩人，从而产生了人苗的数据。激增的数据背后隐藏着许 多重要的信息，人们希望能够对其进行更高层次的分析，以便更好地利用这些数据。为给决策者提供一个 统一的全局视角，在许多领域建立了数据仓库。但人鼙的数据往往使人们无法辨别隐藏在其中的能对决策 提供支持的信息，而传统的卉洵、报表．1：具无法满足挖掘这些信息的需求。冈此，需要一种新的数据分析 技术处理人量数据，并从中抽取有价值的满在知识，数据挖掘(Data Mining)技术由此应运而生。数据挖 掘技术也止是伴随着数据仓库技术的发展而逐步完善起来的【1．2】。‘ 2数据挖掘技术 2．1数据挖掘的定义 。 数据挖掘是指从数据集合中白动抽取隐藏在数据中的那些有心信息的非平凡过程，这些信息的表现形 式为：规则、概念、规律及模式等。它可帮助决策者分析历史数据及当前数据，并从中发现隐藏的关系和 模式，进而预测术米可能发生的行为。数据挖捌的过稃也叫知识发现的过程。它是一J’J涉及面很广‘的交叉 性新兴学科，涉及剑数据库、人．1：智能、数理统计、可视化、并行计算等领域。数据挖捌是一种新的信息 处理技术．其主要特点是对数据库中的人量数据进行抽取、转换、分析和其他模耍!化处理，并从中提取辅 in DiscoveryDatabase)中的重要技术，它并不是用规 助决策的关键性数据。数据挖掘是KDD(Knowledge 范的数据库查洵语言(如SQL)进行奄询，而是对夯洵的内容进行模式的总结和内在规律的搜索。传统的 查询和报表处理只是得到事什发生的结果，并没有深入研究发生的原冈，而数据挖掘则土要了解发生的原 冈，并且以一定的置信度对术米进行预测，Hj米为决策行为提供有利的支持。．． 2．2数据挖掘的方法一； 数据挖掘的研究融合了多个不同学科领域的技术与成果，使得目前的数据挖掘方法表现出多种多样的 形式。从统计分析类的角度来说，统计分析技术中使州的数据挖掘模型有线形分析和非线形分析、同l门分 析、逻辑同门分析、单变量分析、多变量分析、时间序列分析、最近序列分析、最近邻算法和聚类分析等 方法。利用这些技术可以检奇那些异常形式的数据，然后，利川各种统计模型和数学模型解释这些数据，’ 解释隐藏在这些数据背屙的市场规律和商业机会。知识发现类数据挖掰技术楚一种与统计分析类数据携掘 技术兜全不同的挖搠技术，包括人l：神经元嘲络、支持向餐机、决策树、遗传掉法，狙糙鳐、规№日发现和 荧联顺序等∽·“。 2。2．1 统计方法 、 传统的统计学为数据挖掘提供了许多判别和闸门分析方法，常