关于极大熵聚类算法的收敛性定理的反例.pdf

( E 辑) 第33 卷 第6 期 SCIENCE IN CHINA ( Series E ) 2003 年6 月 关于极大熵聚类算法的收敛性定理的反例* 于 剑 石洪波 黄厚宽 (北方交通大学计算机学院, 北京100044) 孙喜晨 程乾生 (北京大学数学科学学院, 北京100871) 摘要 追溯了极大熵聚类算法的历史渊源, 指出了张志华等提出的算法本质上缺少 新意, 并构造了两个具体例子说明了极大熵聚类算法得到的迭代序列不一定收敛到目 标函数的局部极小值, 有可能收敛到鞍点. 在此基础上,指出了他们关于极大熵聚类算 法的收敛性定理一般不能成立的理论理由. 关键词 熵 不动点 聚类算法 收敛性 [1] 自1990 年Rose 等首次提出了基于熵的决定性退火聚类算法 之后, 受到它的启发, 一种 新的模糊 C-均值方法被提出, 该方法被称作是极大熵方法, 它采用熵函数作为目标函数的一 个组成部分. 例如, Karayiannis ( 1994)[2], Li 与Mukaidono [3]分别发表了极大熵聚类算法的研究 结果; Karayianni s 提出了ECFC 算法(entropy- constrained fuzzy clustering algorithm), Miyamoto [4~7] 与 Mukaidono 等发表了基于正则化思想的模糊聚类 C-均值方法研究等等 , 上述算法的本 质亦与文献[8] 中的极大熵聚类算法方法相同. 文献[8]首先研究了极大熵聚类算法的收敛性, 从而得出了如下结论: 对于任意的初始值, 极大熵聚类算法产生的迭代序列将收敛于一个严格局部最小点, 或者它的任一个收敛子序列 收敛于一个严格局部最小点. 1 极大熵聚类算法 下面首先介绍一下文献[2,3]等的基于熵的模糊聚类算法. 由于二者只有形式上的差别, 我们这里采用表述更简单的文献[3] 的叙述. 假设在s 维Euclid 空间中的特征向量集X = {x , x , , x } Rs , 根据某种相似性度量, 它 1 2 n 被聚合成c 个模糊子类, 每个子类可用类中心v 表示; 模糊划分可用矩阵u = [u ] R cn 表示, i ik 其中每一项满足 uik [0, 1], 1 i c, 1 k n ; (1a) c u 1, 1 k n; (1b)