4clustering-a.pptVIP

* * Data Mining: Concepts and Techniques * 4、基于方格的方法 把多维数据空间划分成一定数目的单元，然后在这种数据结构上进行聚类操作。 该类方法的特点是它的处理速度，因为其速度与数据对象的个数无关，而只依赖于数据空间中每个维上单元的个数。 5、基于模型的方法 （1）神经网络方法 （2）统计的方法 * Data Mining: Concepts and Techniques * 基于分区的方法 Partitioning method: Construct a partition of a database D of n objects into a set of k clusters, s.t., min sum of squared distance Given a k, find a partition of k clusters that optimizes the chosen partitioning criterion Global optimal: exhaustively enumerate all partitions Heuristic methods: k-means and k-medoids algorithms k-means : Each cluster is represented by the center of the cluster k-medoids : Each cluster is represented by one of the objects in the cluster * Data Mining: Concepts and Techniques * K-means算法 K-Means方法是MacQueen1967年提出的。给定一个数据集合X和一个整数K（?n），K-Means方法是将X分成K个聚类并使得在每个聚类中所有值与该聚类中心距离的总和最小。 * Data Mining: Concepts and Techniques * K-Means聚类方法分为以下几步： [1] 给K个cluster选择最初的中心点，称为K个Means。 [2] 计算每个对象和每个中心点之间的距离。 [3] 把每个对象分配给距它最近的中心点做属的cluster。 [4] 重新计算每个cluster的中心点。 [5] 重复2，3，4步，直到算法收敛。 K的值应该是越小聚类效果越好 K个中心点是随机给的 需要计算K*N个值 新的中心点与旧的中心点重合 * Data Mining: Concepts and Techniques * k-Means Example (I) k1 k2 k3 X Y Pick 3 initial cluster centers (randomly) * Data Mining: Concepts and Techniques * k-Means Example (II) k1 k2 k3 X Y Assign each point to the closest cluster center * Data Mining: Concepts and Techniques * k-Means Example (III) X Y Move each cluster center to the mean of each cluster k1 k2 k2 k1 k3 k3 * Data Mining: Concepts and Techniques * k-Means Example (IV) X Y Reassign points closest to a different new cluster center Q: Which points are reassigned? k1 k2 k3 * Data Mining: Concepts and Techniques * k-Means Example (V) X Y A: three points with animation k1 k3 k2 * Data Mining: Concepts and Techniques * k-Means Example (VI) X Y re-compute cluster means k1 k3 k2 * Data Mining: Concepts and Techniques * k-Means Example (VII) X Y move cluster centers to cluster means k2 k1 k3 * Data Mining: Concepts and Techniques *