数据挖掘及其对统计学的挑战 Data mining and its challenge to Statistics.pdfVIP

2001年第8期 统计研究 StaHstieal No．82∞l Research 55 数据挖掘及其对统计学的挑战 韩 明 ABSTRACT In of was the this fordata sev- paper，thedevelopmentsstudying miningsummarized，and eral toberesolvedinthe ofdata andstatistics out． problems studyingmining was西ven 关键词：数据；数据挖掘；统计学 数据挖掘技术的目标是从大量的数据中，发现 一、引言 隐藏于其后的规律或数据间的关系，从而服务于决 随着科学技术的发展，利用数据库技术来存储 策。数据挖掘的主要任务有： 管理数据，利用机器学习的方法来分析数据，从而挖 (1)数据总结。数据总结的目的是对数据进行 掘出大量的隐藏在数据背后的知识，这种思想的结 浓缩，给出它的总体的综合描述。通过对数据的总 合形成了现在深受人们关注的非常热门的研究领 结，实现对原始数据的总体把握。最简单的数据总 Discov． 结方法是利用统计学中的传统方法，计算出数据库 域：数据库中的知识发现——KDD(Knowledge in ery Databases)，其中，数据挖掘技术便是KDD中的中各个数据项的总和、平均、方差等。利用0IJAP 一个最为关键的环节。 Line (On 1995年，在加拿大的蒙特利尔召开了第一届“知 现数据的多维查询。 识发现和数据挖掘”国际学术会议，数据挖掘一词被 (2)分类。分类的主要功能是使用一个分类函 很快流传开来。数据挖掘——DM(Data 数或分类模型，该模型能够根据数据的属性将数据 Mimng)就是 从大量的、不完全的、有噪声的、模糊的、随机的数据 分派到不同的组中。这样我们就可以利用该模型来 中，提取隐含在其中的、人们事先不知道的、但又是 分析已有的数据，并预测新数据将属于哪一组。例 潜在有用的信息和知识的过程。数据挖掘是一门交 如，我们可以将银行网点分为好、一般、较差三种类 叉学科，它汇聚了数据库、人工智能、统计学、可视 型，并依据此种分类分析三种银行网点的各种属性， 化、并行计算等不同学科和领域，近年来受到各界的 如位置、盈利情况等，并决定它们分类的关键性及相 广泛关注。 互关系。 数据挖掘与统计学有着密切的关系。数据挖掘 (3)关联分析。数据库中的数据一般都存在着 的出现为统计学提供了一个新的应用领域，同时也 关联关系，也就是说两个或两个以上变量的取值之 给统计学的理论研究提出了挑战，它无疑将推动统