数据挖掘Chapter3.pptVIP

数据挖掘：概念与技术 数据挖掘导论 Pang-ning Tan, Michael Stieinbach, and Vipin Kumar著 Pearson Education LTD. 范明 等译 人民邮电出版社 第3章 数据探索 鸢尾花数据集 汇总统计 可视化 *OLAP和多维数据分析 什么是数据探索 数据的初步探索旨在更好地理解数据的特性 数据探索的主要动机 帮助选择正确的数据预处理和分析工具 利用人识别数据模式的能力 人可能识别数据分析工具不能捕获的模式  与探索式数据分析（Exploratory Data Analysis，EDA）有关 探索式数据分析是由统计学家John Tukey开创的 Tukey的其他贡献: FFT, bit, software Seminal book is Exploratory Data Analysis by Tukey A nice online introduction can be found in Chapter 1 of the NIST Engineering Statistics Handbook /div898/handbook/index.htm 数据探索技术 In EDA, as originally defined by Tukey The focus was on visualization Clustering and anomaly detection were viewed as exploratory techniques In data mining, clustering and anomaly detection are major areas of interest, and not thought of as just exploratory In our discussion of data exploration, we focus on Summary statistics Visualization Online Analytical Processing (OLAP) 3.1 鸢尾花数据集 鸢尾花数据集 Many of the exploratory data techniques are illustrated with the Iris Plant data set. Can be obtained from the UCI Machine Learning Repository /~mlearn/MLRepository.html From the statistician Douglas Fisher Three flower types (classes): Setosa Virginica Versicolour Four (non-class) attributes Sepal width and length Petal width and length 3.2 汇总统计 汇总统计 汇总统计量汇总了数据的性质 汇总性质包括频度、位置和发散 例: 位置 – 均值 发散 – 标准差 大部分汇总统计量都可以通过单遍扫描数据计算 频率和众数 频率和众数: 用于离散属性 频率(frequency ): 给定一个在{v1,..., vi,..., vk}上取值的分类属性x和m个对象的集合，值vi的频率定义为 For example, given the attribute ‘gender’ and a representative population of people, the gender ‘female’ occurs about 50% of the time. 众数(mode) The mode of a an attribute is the most frequent attribute value 百分位数 用于有序或连续属性 百分位数（percentile） x是有序或连续属性, p是0与100之间的数, 第p个百分位数xp是一个x值, 使得x 的p%的观测值小于xp 第25、50和75个百分位数, 分别记为Q1、Q2和Q3, 分别称为第一、第二和第三个四分位数(quartiles) 第二个四分位数Q2又称中位数(median) 如果值的个数n是奇数, 则中位数是有序集合的中间值; 否则中位数是中间两个数的平均值 中间四分位数极差(IQR): IQR = Q3 ? Q1 五数概括(five-number summary) 由中位数M，四分位数Q1和Q3，最小和最大观测值组成 Minimum, Q1, M, Q3,