语音信号数字处理-矢量量化和聚类算法.pptVIP

* 三、聚类算法(3)－模拟退火K-均值算法 以往的聚类算法，都是组合优化的近似算法，只能求得局部最优解。 能否求得全局最优解？ 在物理中，退火技术是指：先把固体加热至足够高，使固体中所有粒子处于自由液态，然后将温度缓慢下降，这样只要温度上升得足够高，冷却过程足够慢，则所有粒子最终会处于最低能态。 * 如图5所示，若粒子开始处于C状态，若让能量逐渐减小，则粒子最终到达的是A点(局部最低点)而不是B(全局最低点)点，这是我们所不希望的。 解决的办法是对系统经常地摇动一下，就很可能把粒子从C点摇到B点，而把它摇到A点的可能性很小。 若开始以较大的速度摇，再慢慢减速，最终粒子会落在B点，模拟退火(Simulated Annealing)就类似于这个过程。 图5 * 退火原理 ： 在给定温度T下，处于热平衡状态的物体内能E服从玻尔兹曼(Boltzmann)分布(K为Boltzmann常数，C(T)为规一化因子)： Metropolis抽样模拟了温度T下的热平衡： 随机地选一个初始状态{Xi}，然后随机地给系统一个小扰动{?Xi}，若内能增量?E0，此扰动被接受；否则，此扰动以概率exp{-?E/(KT)}被接受。 若扰动被接受，则系统状态{Xi}被{Xi+?Xi}代替；否则产生一个新的扰动，…，如此下去直至{Xi}状态序列满足上式的分布。 进一步地，让温度T从足够高的值逐渐下降，对每一温度T，用Metropolis抽样使状态达到热平衡，一直到T=0，此时物体达到Ground态，即E的最小值。 * 模拟退火K-均值(AL K-means)利用退火原理及K-均值法，其步骤如下： 步骤1：随机分类C={C1?C2?…?CM}，并计算其总失真度D=D(C)。设置初始温度T(0)，温度下降因子?(?1)。K=0，I=0。 步骤2：K?K+1，若KN (样本总数)，则K?K-N。 步骤3：若TTmin (给定阈值)，结束。 * 步骤4：对样本xk?Ci，产生[1，M]上的随机整数j (j?i),并计算把xk从Ci移到Cj后的总失真度的变化量（其中，mi、mj分别为Ci、Cj中的元素个数， 、 分别为Ci、Cj中元素的均值）： * 步骤5：若?D?0：把xk从Ci移到Cj，I=0，D?D＋?D，修改mi、mj及 、 。转步聚2。 步骤6：产生[0，1]上的随机浮点数?，若exp(-?D/T)??则I?I+1。若IIGM (给定阈值)，则T??T，I?0。转步骤2。 算法特点：模拟退火K-均值算法可以以很高的概率收敛于全局最优解，且与初始分类无关。 * 四、聚类算法中的问题(3)－初始码本的设置问题 随机初始码本 不需要初始化，从训练矢量集中随机地取出N帧矢量作为N个初始中心。这种方法带有一定的“盲目性”。 分裂法 这种方法类似细胞分裂过程，先是设一个中心，然后一分为二，得到二个中心，两个中心又得到四个，…，最后达到N个，N为2的整数幂。 * 最简单和实用的一种分裂室心的方法叫“扰动因子法”－－如LBG算法中 N不是2的幂的情形： 先用分裂/扰动因子法聚到M类，其中M是小于N的2的幂中最大的 再用分裂/扰动因子法把失真度最大的N-M个类分裂 * 上述找初值的方法仅是通过“通用”意义上的方法实现的，没有充分利用语音本身所含有的信息 考虑到特征空间压缩的目的－－代表性 是否还可以有其他设初始码本的方法？ 从声学的角度（音节或音素的代表） * 四、聚类算法中的问题(4)－避免空室心 按照上述方法，发现极易出现空室。所谓空室是指有室心而在重新分类时无矢量归入该室。 产生空室的原因主要有以下四个方面： 参加训练的矢量个数与欲分的类数相近，训练集的大小应是码本大小的50倍； 参加训练的矢量分布的不均； 扰动因子取值不当； 算法结构有缺陷； …… * 避免产生空室的一种方法：不是一律平等地将一个室心分裂为两个室心，而是挑最大的类，将其室心一分为二。所谓最大的类可按下述三条中任一条来定义： 该类包含的矢量个数最多； 该类具有最大平均畸变； 该类具有最大总体畸变。 * 四、聚类算法中的问题(5)－选择性训练 在聚类估计中，聚类中心的选择一般都是取类向量的均值向量，但是由于一些因素(如口音、错误数据等)导致的个别样本点对均值向量计算的影响，可能会使得用以描述该类的PDF中心发生偏移，从而导致估计上的偏差。 针对这种情况，我们有必要对样本进行选择性训练(Selective Training) ，或者说剔除那些孤立的点群，因为剔除个别点群导致的错分要比它们引起的中心漂移导致的错分要小得多。 图6 特殊点群导致类中心漂移(注：图中大椭圆为主要的分布，小椭圆为个别点群，虚线椭圆为中心漂移后的估计分布) * 确定哪