数据挖掘中的统计分析技术应用研究.pdf

广西师范大学学报 　研究生专辑 JOURNAL OF GUANGXI NORMAL UNIVERSITY 2002 年 数 据 挖 掘 中 的 统 计 分 析 技 术 应 用 研 究 牛　力 ( 广西师范大学 计算机系, 广西 桂林 541004 ) 　　 [ 导师评语 ]“数据挖掘中的统计分析技术应用研究”一文介绍了数据聚类的基本概念、相似度定义、典 型的两种聚类方法及其一些新的应用, 论述了数据分类算法。文章还给出了相关性分析、主成份分析、回归分 析等统计分析技术, 阐明了统计 分析方法在数据挖掘中的重要作用, 具有一定的指导意义。文章写作符合规 范, 叙述清晰, 条理清楚, 但一些地方还需要深入进行研究, 希望将来能加入更深层次的内容。例如, 可以试图 研究 目前相似度定义的合理性, 回答“相似度应具备什么样的性质”、“一定要用距离来度量吗”等问题。” —— 严小卫 ( ) [ 摘　要 ]数据挖掘 Data m n n g 是快速处理海 量数据, 最终发现 非平凡知识 的最为有效 的方法和技 术。与数据挖掘关系最为密切的三门学科是数据库、人工智能和统计学。许多统计分析技术已被用于数据挖 掘之中, 诸如: 数据 聚类、回归分析、判 别分析等。在 此着 重于 系统地研 究上述统计方法在 数据挖掘 中的应用。 [ 关键词 ]数据挖掘; 统计分析; 聚类; 分类 数据挖掘技术 的兴起是信息系统广泛应用和快速发展的需要。 由于大规模 的信息系统的实施和应 用, 使得数据量 以爆炸性 的高速增长。在数据挖掘兴起之前, 大部分 的这些海量数据仅仅作为简单的存 储, 而不能有效的加 以利用。因此, 人们面对如此庞大 的数据量, 由于没有合适、有效的工具来处理它们, 而感到无所适从。数据挖掘技术 的出现可望解决这一问题。数据挖掘是整个知识发现 (KDD) 过程 的一 [1] 个关键步骤。知识发现与数据挖掘是人工智能、机器学习与数据库技术相结合 的产物 。机器学习 ( ) 是用计算机模拟人类学习的一 门科学, 始于 60 年代末, 真正的发展是在 70 年代 Mach ne L earn ng 末。 由于在专家系统开发 中存在知识获取 的“瓶颈 ”现象, 所 以就用机器学习来完成知识 的自动获取。 1980 年在美 国召开了第一届国际机器学习研讨会;1984 年, 《机器学习》杂志 问世。从数据库 中发现知识 (Knowledge D scovery n Database , KDD) 是从 80 年代末开始的。KDD 一词是在 1989 年 8 月, 于美国 底特律市召开 的第一届 KDD 国际学术会议上正式提出的。 国际 KDD 学术会议起初每两年召开一次, 1993 年后每年召开一次。 目前, 世界各种范围的 KDD 学术会议不断召开, 像 PAKDD (Pac f c - As a Conference on Knowledge D scovery and Data M n ng ) 主要面向亚洲和太平洋地区的国际性 的 KDD [2] 学术会议, 还每年固定召开一次。 在数据挖掘作为研究课题正式提 出之前, 统计分析技术—直是人们处理数据寻找规律 的主要手段。 数据挖掘充分吸取 了多种统计分析技术, 结合自身的特点, 使其成为数据挖掘技术的一部分。本文主要 讨论两种统计分析技术: 数据聚类和数据分类, 并对一些较为重要的其他方法也做一简单介绍。 1　数据聚类 1