使用Pycluster包进行聚类分析实例.docxVIP

使用Pycluster包进行聚类分析实例Esri 中国卢萌?????????“方以类聚，物以群分，吉凶生矣“——周易·系辞上人类在几千年前就认识到了所谓的聚类和分类，是用来认知和描述万事万物之间关系的主要方法。一个没读什么书小贩，也知道将不同色泽和品相的水果分开，可以卖不同的价格。所以不论是否受过高等教育，聚类和分类的思想都根深蒂固的在人类的思想中。?聚类是数据挖掘的主要手段之一，对于探索数据之间的规律有着重要的作用。但是很多想做数据分析的同学限于没有时间去写各种算法，只能停留在算法描述上面。?所以这里给大家介绍一个很好很强大的开源包：Pycluster包。?Pycluster包是东京大学医学研究所，人类基因研究中心的米歇尔德勋（Michiel de Hoon），星矢井本（Seiya Imoto），宫野悟（Satoru Miyano）等人编写的开源算法工具包，提供了C/C++、python和 Perl三个版本，因为本人主要玩的python，所以这里主要讲其中的Pycluster包，其他的内容，可以下载详细文档（本文中的代码、数据和文档，在最下面的链结中有，我放的是百度云盘）。?Pycluster封装了基于划分的算法中的两个最经典的算法K-means和k-medoids，以及基于层次的算法，主要还是说了k-means和k-medoids算法，算法的实行描述我就不详细说了，网上资料大把多。下面解析一下整个包实现的代码以及各种参数说明：其中斜体是我写的注释。# -*- coding:utf-8 -*-Created on 2015-6-3?@author: godxiaimport Pycluster as pcimport numpy as npimport matplotlib.pylab as pl?def myCKDemo(filename,n):????#以下两个语句是获取数据，用于聚类分析的数据位于第3和第4列（从0开始计算）?????? data = np.loadtxt(filename, delimiter = , ,usecols=(3,4))??? #第8和第9列，保存了城市的经纬度坐标，用于最后画散点图??? xy = np.loadtxt(filename, delimiter = , ,usecols=(8,9))????#clustermap是聚类之后的集合,记录每一组数据的类别id??? clustermap = pc.kcluster(data, n)[0]????#centroids 是分组聚类之后的聚类中心坐标??? centroids = pc.clustercentroids(data, clusterid=clustermap)[0]????#m是距离矩阵??? m = pc.distancematrix(data)?????#mass 用来记录各类的点的数目??? mass = np.zeros(n)??? for c in clustermap:???????? mass[c] += 1???????????#sil是轮廓系统矩阵，用于记录每个簇的大小??? sil = np.zeros(n*len(data))???? sil.shape = ( len(data), n )??????? for i in range( 0, len(data) ):???????? for j in range( i+1, len(data) ):???????????? d = m[j][i]???????????? sil[i, clustermap[j] ] += d???????????? sil[j, clustermap[i] ] += d????? for i in range(0,len(data)):???????? sil[i,:] /= mass????????#s轮廓系数是一个用来评估聚类效果的参数??? #值在-1 —— 1之间，值越大，表示效果越好。??? #小于0，说明与其簇内元素的平均距离小于最近的其他簇，表示聚类效果不好。??? #趋近与1，说明聚类效果比较好。??? s=0???? for i in range( 0, len(data) ):???????? c = clustermap[i]???????? a = sil[i,c]???????? b = min(sil[i,range(0,c)+range(c+1,n)])???????? si = (b-a)/max(b,a)??????? s+=si??????? print n, s/len(data)????????#使用matplotlib画出散点图。??? fig, ax = pl.subpl