基于vMF分布的深度聚类算法研究.pdfVIP

重庆师范大学硕士学位论文中文摘要

基于vMF分布的深度聚类算法研究

摘要

近年来，随着计算机技术的迅猛发展，聚类技术取得了显著进展。尤其在过去二十

年，计算机技术和数据挖掘的急剧发展推动了深度聚类方法的涌现，为我们提供了更为优

越的解决方案。基于变分自编码器(VariationalAuto-Encoders,VAE)的深度聚类方法因其

卓越的生成能力和聚类性能引起了广泛关注。然而，目前基于VAE的聚类算法往往需要

处理具有挑战性的证据下界(EvidenceLowerBound,ELBO)以实现聚类。并且大多数依赖

于高斯分布或高斯混合模型作为潜在空间嵌入。此外，还需要先验信息来处理类别分布。

总体而言，当前基于VAE的深度聚类方法在模型构建和聚类效率方面存在挑战。

为解决基于VAE的深度聚类方法的限制，本文探索了基于vMF分布(vonMisesFisher,

vMF)的深度聚类算法，并建立了两套简单、高效、准确率高的深度聚类模型。为复杂数

据特征学习、聚类分析提供一套新的方法，同时也拓展变分推断方法在深度聚类上的应

用。本文的研究内容和贡献具体如下：

1.提出了一种基于超球面变分自编码(HypersphericalVariationalAuto-Encoders,HVAE)

的深度聚类模型——深度超球面变分聚类网络(DeepHypersphericalVariationalClustering

Network,DHVC)。在DHVC模型中，首先我们通过将vMF混合分布(vonMisesFisherMix-

tureModel,vMFMM)作为潜在空间嵌入，打破以往将高斯分布或高斯混合分布作为潜空

间嵌入的传统。其次提出用优化可计算的两个后验分布之间的KL散度(Kullback-Leibler

divergence)，代替以往用ELBO进行优化的方法。最后，我们最大化了潜在表示和聚类分

配之间的扩展互信息，以实现更有区分性和平衡性的分配。通过与最先进的深度聚类技

术在基准数据集上进行比较，验证了所提出的深度聚类方法的有效性。值得注意的是，我

们的方法在F-MNSIT数据集上的聚类精度突破了70%。

2.提出了一种基于HVAE的深度聚类模型——具有增强球面嵌入的深度超球面变

分聚类网络(DeepSphericalVariationalClusteringNetworkwithAugmentedSphericalLatent

Embeddings,DSVC)。在DSVC模型中，首先与DHVC一样，我们在用vMFMM分布约

束潜在空间嵌入。其次，通过合理的假设对ELBO进行重新推导、解释，提出一种全新的

随机变分推断框架，并以此构建DSVC网络模型。最后，我们提出一种全新的双边增强

策略（包含数据增强和聚类增强）以增广潜在嵌入，有效提高了聚类性能的同时也增强了

整体网络的鲁棒性。此外，也同样使用了扩展互信息以实现更有区分性和平衡性的分配。

值得提及的是，我们的方法在MNSIT数据集上的聚类精度突破了99%。

关键词：深度聚类，变分自编码器，超球面变分自编码器，vMF混合分布，KL散度，证

据下界，扩展化互信息，双边增强策略

I

重庆师范大学硕士学位论文英文摘要

ResearchonDeepClusteringAlgorithmsbasedonvMF

Distributions

ABSTRACT

Inrecentyears,propelledbytherapidadvancementofcomputertechnology,clusteringtech-

niqueshaveachievedsignificantprogress.Particularly,theswiftdevelopmento