第六章RBF网络.ppt

2006-12-12 北京科技大学 付冬梅 * 已知　　学习7次　　　未知 2006-12-12 北京科技大学 付冬梅 * 已知　　学习8次　　　未知 2006-12-12 北京科技大学 付冬梅 * 已知　　学习9次　　　未知 2006-12-12 北京科技大学 付冬梅 * 已知　　学习10次　　　未知 2006-12-12 北京科技大学 付冬梅 * 学习10次－－J　 2006-12-12 北京科技大学 付冬梅 * 学习算法需要求解的参数 径向基函数的中心参数 径向基函数的散度参数 隐含层到输出层的权值 学习方法分类（按选取方法的不同分） 随机选取中心法 自组织选取中心法 有监督选取中心法 正交最小二乘法等 6-4 RBF网络的学习算法 2006-12-12 北京科技大学 付冬梅 * 自组织选取中心学习方法: 第一步，自组织学习阶段 无导师学习过程，求解隐含层基函数的中心与方差； 第二步，有导师学习阶段 求解隐含层到输出层之间的权值。 高斯函数作为径向基函数: 6-4 RBF网络的学习算法 2006-12-12 北京科技大学 付冬梅 * 网络的输出: 设d是样本的期望输出值，那么基函数的方差可表示为 : 6-4 RBF网络的学习算法 2006-12-12 北京科技大学 付冬梅 * 6-4 RBF网络的学习算法 2006-12-12 北京科技大学 付冬梅 * 1.无导师学习 对所有输入样本进行聚类，求得各隐层节点的RBF的中心。介绍用k--均值聚类算法调整中心参数。 1） 聚类 聚类分析符合“物以类聚，人以群分”的原则，把相似性大的样本聚集为一个类型，在特征空间里占据着一个局部区域。类型越多，这样的具备区域就越多。每个局部区域都形成一个聚合中心，往往以聚合中心代表相应的类型。 聚类分析算法可以自动地确定类型的数目K，不必以预知K为前提条件。当然，也可以给定K作为算法终止的条件。如果没有给定K，如何在聚类过程中自动的确定K，是聚类分析中的一个关键性的问题。 6-4 RBF网络的学习算法 2006-12-12 北京科技大学 付冬梅 * 2）相似性度量 如何衡量样本相似性，对聚类有直接影响。通常使用距离相似性度量和角度相似性度量。 距离相似性度量 一个模式样本，在它的特征空间里是一个点。如果模式的特征是适当选择的，即各维特征对于分类来说都是等效的，那么，同一类的模式样本就密集的分布在一个区域里，不同类的模式样本就会远离。因此，点间距离远近反映了相应模式样本所属类型有无差异，可以作为样本相似性度量。点间距离近，则样本相似性大，它们属于同一个类型；否则，它们属于不同的类型。 6-4 RBF网络的学习算法 2006-12-12 北京科技大学 付冬梅 * 在聚类分析中，最经常使用的就是距离相似性。 (1)欧式(Euclidean)距离 欧式距离又称为距离，模式样本向量x和y之间的欧式距离定义为： 其中d为特征空间的维数。显然，若样本x和y位于同一个类型区域里，欧式距离 是比较小的；若它们位于不同类型的区域里，则是比较大的。 (2)马氏(Mahalanobis)距离 我们已经知道马氏距离的定义，可以表达为： 6-4 RBF网络的学习算法 2006-12-12 北京科技大学 付冬梅 * 式中， 为均值向量， 为协方差矩阵。由于 和 都与类型有关，因此马氏距离 比较适用于对样本已有初步分类的情况，做进一步的考核和修正。 (3)明氏(Minkowsky)距离 明氏距离定义为： 这是若干距离函数的通式。例如，当λ=2时，它等于欧式距离；当λ=1时，又可称为“街坊”距离。 6-4 RBF网络的学习算法 2006-12-12 北京科技大学 付冬梅 * 角度相似性度量 样本x和y之间的角度相似性度量定义为它们之间夹角的余弦，即 也是两个单位向量之间的点积。显然 越小，x和y越相似，常用于情报检索、植物分类和疾病分类中。 样本相似性度量是聚类分析的基础，针对具体的问题，选择适当的相似性度量是保证聚类质量的重要问题。但是，有了相似性度量还不够，还必须有适当的聚类准则函数。聚类准则函数对聚类质量也有重大影响。 6-4 RBF网络的学习算法 2006-12-12 北京科技大学 付冬梅 * 3）聚类准则函数——误差平方和准则 令有混合样本集 ，在某种相似性度量基础上，它被聚合成K个分离开的子集 ,…, ，每个子集是一个类型，分别包含 ,… ,个样本。为了衡量聚类的质量，采用误差平方和： 式中 j=1,…,K。是类型