testdata商务智能与数据挖掘-indexof.pptVIP

第5章 数据挖掘 计算机工程学院 谷瑞军 Email：guruijun@ 学习网站： outline 数据探索 汇总统计 数据可视化 OLAP 分类 关联分析 聚类分析 异常检测 5.1 数据探索 什么是数据探索? 数据探索的动机 为了选择更好的方法、工具对数据进行预处理或者分析 帮助人们更好地识别数据模式 有时候人们可以捕捉到数据分析工具所不能发现的模式 “A picture is worth a thousand words” 与探测性数据分析相关 Exploratory Data Analysis (EDA) Created by statistician John Tukey Seminal book is Exploratory Data Analysis by Tukey A nice online introduction can be found in Chapter 1 of the NIST Engineering Statistics Handbook /div898/handbook/index.htm 我们这里讨论的数据探索主要包括以下三个主题： 统计汇总、数据可视化和联机分析处理 汇总统计（1） 汇总统计（Summary statistics）是量化的(如均值和标准差），用单个数或数的小集合捕获可能很大的值集的各种特征。 e.g.家庭年均收入、四年内获得本科学位的学生比例。 汇总统计包括频率度量、位置度量以及散布度量 Examples: location - mean spread - standard deviation 大多数的汇总属性可以通过对数据集进行一次扫描统计获得 汇总统计（2） 频率和众数（对分类数据） 某个属性值的频率定义如下： 众数：是指具有最高频率的值 百分位数 （对有序数据） 给定一个有序的或连续的属性 和0与100之间的数p，第p个百分位数 是一个x属性值，使得x属性上有p%的观测值小于 汇总统计（3） 均值和中位数（对分类数据） 均值和中位数的定义如下 均值对异常样本敏感，中位数则相对稳健 汇总统计（4） 极差和方差（对连续数据） 极差：最大值和最小值之差 方差 绝对平均偏差 中位数绝对偏差 四分位数极差 数据可视化 数据可视化是指以图形或表格的形式显示信息。成功的可视化需要将数据（信息）转换成可视的形式，使得能够借此更便捷地分析或报告数据的特征以及数据项、属性之间的关系。 在数据探索中，可视化非常有用 人们可以快速地接受大量的可视化信息， 并发现其中的规律。 可以显示一般性的模式和趋势 可以显示异常样本以及非寻常模式 例子: 海洋表面温度 1982年7月的海洋表面温度图 一张看似简单的图上汇总了大约250000个数据 鸢尾花数据集（Iris data set) Many of the exploratory data techniques are illustrated with the Iris Plant data set. Can be obtained from the UCI Machine Learning Repository /~mlearn/MLRepository.html From the statistician Douglas Fisher Three flower types (classes): Setosa Virginica Versicolour Four (non-class) attributes 萼片宽度和长度 花瓣宽度和长度 可视化技术(1) 直方图 (Histogram) 普通直方图（左图）显示单个属性的样本分布情况，二维直方图(右图）显示包含二个属性的样本分布情况 横坐标为属性值，纵坐标为对应样本出现的次数 Example: Petal Width (10 and 20 bins, respectively) 可视化技术(2) 盒状图 (Box plot) Invented by J. Tukey 用于刻画样本的分布 每个盒子(Box)对应一个属性 可视化技术(3) 散布图（Scatter plots） 用于刻画属性之间的相关性 当类标号给出时，可以使用散布图考察两个属性将类分开的程度 可视化技术(4) 等高线图 (Contour plots ) 刻画空间中的连续属性 将平面图划分成若干区域，区域内部具有相同的第三属性值 可视化技术(5) 矩阵图 (Matrix plots ) 可以直观地显示一个数值矩阵 对于数据分类非常有用 可视化技术(6) 平行坐标系（Parallel C