统计学聚类剖析精品.ppt

章聚类分祈  分类 ●物以类聚、人以群分; ●但根据什么分类呢? ●如要想把中国的县分类,就有多种方法 可以按照自然条件来分,比如考虑降水 土地、日照、湿度等, ●也可考虑收入、教育水准、医疗条件、基 础设施等指标; ●既可以用某一项来分类,也可以同时考虑 多项指标来分类  聚类分析 对一个数据,既可以对变量(指标进行 分类(相当于对数据中的列分类),也可 以对观测值(事件,样品)来分类(相当 于对数据中的行分类)。 当然,不一定事先假定有多少类,完 全可以按照数据本身的规律来分类。 ●本章要介绍的分类的方法称为聚类分 析( cluster analysis)。对变量的聚 类称为R型聚类,而对观测值聚类称为 Q型聚类。它们在数学上是无区别的。  饮料数据( drink. txt) 16种饮料的热量、咖啡因、钠及价格四种变量 饮料编号 咖啡因 钠 价格 3680 3.30 121 0.20 3.30 146,70 5760 13.60 2.10 0 199.00 10.60 6.30 16.60 6.30 1.50 38 2.00 13.10 11880 4.10 16 107.00 00 8.30 4.20  11.1如何度量距离远近? 如果想要对100个学生进行分类, 而仅知道他们的数学成绩,则只好 按照数学成绩分类;这些成绩在直 线上形成100个点。这样就可以把 接近的点放到一类。 如果还知道他们的物理成绩,这样 数学和物理成绩就形成二维平面上 的100个点,也可以按照距离远近 来分类。  11.1如何度量距离远近? ●三维或者更高维的情况也是类似; 只不过三维以上的图形无法直观地 画出来而已。 在饮料数据中,每种饮料都有四个 变量值。这就是四维空间点的问题  两个距离概念 ●按照远近程度来聚类需要明确两 个概念:一个是点和点之间的距 离,一个是类和类之间的距离。 点间距离有很多定义方式。最简 单的是歐氏距离。 当然还有一些和距离相反但起同 样作用的概念,比如相似性等, 两点越相似度越大,就相当于距 离越短。  两个距离概念 由一个点组成的类是最基本的类;如 果每一类都由一个点组成,那么点间 的距离就是类间距离。但是如果某 类包含不止一个点,那么就要确定类 间距离, 类间距离是基于点间距离定义的:比 如两类之间最近点之间的距离可以作 为这两类之间的距离,也可以用两类 中最远点之间的距离或各类的中心之 间的距离来作为类间距离。  两个距离概念 在计算时,各种点间距离和 类间距离的选择是通过统计 软件的选项实现的。不同的 选择的结果会不同,但一般 不会差太多。  向量X=(x1…X)与y=(y1…,y)之间的距离或相似系数 欧氏距高 Euclidean 2(x-y)2平方欧氏距离 ∑(x-y) Squared Euclidean 夹角余弥(相似系数1) cosine ∑ x y Block(绝对距离):Σkxry 22*2y Pearson correlation Chebychev: Max Ix -y I (相似系数2) (x1-)(y1 Minkowski: 2(x-y) y (x- 当变量的测量值相是殊时,要先选行标准化,如R为极差 S为标准差,则标准化的教据为每个观测值减去均篁后再 除以R或S.当观测值大于0时,有人采用 Lance和 Williams的 距高 x. t