模糊模式识别方法统计学习理论和支持向量机.ppt

模式识别 模糊模式识别方法 模糊模式识别 模式识别从一开始就是模糊技术应用研究的一个活跃领域，一方面，人们针对一些模糊式识别问题设计了相应的模糊模式识别系统。另一方面，对传统模式识别中的一些方法，人们用模糊数学对它们进行了很多改进。这些研究逐渐形成了模糊模式识别这新的学科分支。 “开水”这一概念的模糊集与确定集 常见的隶属度函数形式 模糊化特征 模糊特征是指根据一定的模糊化规则（通常根据具体应用领域的专门知识人为确定或经过试算确定）把原来的一个或几个特征变量分成多个模糊变量，使每个模糊变量表达原特征的某一局部特性，用这些新的模糊特征代替原来的特征进行模式识别。 1 of N编码（N分之一编码） 把原来的一个特征变为若干模糊特征的目的在于使新特征更好地反映问题的本质。 在很多情况下，用一个特征（比如体重）参与分类（比如判断是否患有某种可能导致体重变化的病），正确分类结果与这个特征之间可能是复杂的非线性关系。 而如果根据有关知识适当地提取模糊特征，虽然特征数增多了，但却可能使分类结果与特征之间的关系线胜化，从而大大简化后面分类器的设计和提高分类器性能。如果我们对所提取的特征与要研究的分类问题之间的关系有一定的先验认识，则采用这种方法往往能取得很好的结果。 结果的模糊化 模式识别中的分类就是把样本空间（或样本集）分成若干个子集，当然，我们可以用模糊子集的概念代替确定子集，从而得到模糊的分类结果，或者说使分类结果模糊化。 在模糊化的分类结果中，一个样本将不再属于每个确定的类别，而是以不同的程度属于各个类别，这种结果与原来明确的分类结果相比有两个显著的优点：一是在分类结果中可以反映出分类过程中的不确定性，有利于用户根据结果进行决策；二是如果分类是多级的，即本系统的分类结果将与其他系统分类结果一起作为下一级分类决策的依据，则模糊化的分类结果通常更有利于下一级分类，因为模糊化的分类结果比明确的分类结果中包含更多的信息。 如果训练样本中已知的类别标号就以模糊类的隶属度函数的形式给出，那么我们就需要对原有的模式识别方法进行改变，以适应这种模糊类别划分。 本节介绍的结果的模糊化，专门指训练样本和分类器仍是确定性的，只是根据后续的需要把最终的输出分类结果进行模糊化。结果的模糊化并没有固定的方法，通常需要结合有关知识、根据所用的分类器进行设计，比如可以根据样本离类别中心的距离、离分类面的距离或与已知样本之间的某种相似性度量、神经网络输出的相对大小等作为模糊化的依据。 特征的模糊评价 特征选择和特征提取中的关键问题之一就是如何评价所得到的特征，使特征中更好地反映分类的信息。 模糊数学的发展为我们评价特征的性能提供了新的手段，它们是通过衡量模糊集的模糊程度来评价采用的特征对于分类的性能表现，即用这些特征将类别分开的难易程度。 模糊程度的度量 1 模糊度 一个有n个支持点的模糊集A的模糊度γ(A）反映了它的模糊程度，是用它与最接近的确定集合?之间的距离来度量的。 2 熵 3 π度 隶属度函数中常用的形式是所谓S型函数和π型函数，S型函数和π型函数是两种光滑的隶属度函数形式。 S型隶属度函数 S型函数是一种从0到1单调增长的函数，通常可由a，b，c三个参数确定，Zadeh定义的标准S型隶属度函数是 特征的模糊评价 通过模糊程度度量建立特征的评价指标的基本思想是：根据各类已知样本对每一个特征定义某种合理的隶属度函数，构造相应的模糊集，用它们的模糊程度作为特征的评价。 模糊聚类方法 模糊C均值算法 C均值方法：使准则函数 模糊C均值方法 将问题的有关符号重新规定如下：{xi，i=1,2,…,n}是n个样本组成的样本集合，c为预定的类别数目，mi,i=1,2,…,c为每个聚类的中心，μj(xi)是第i个样本对于第j类的隶属度函数。用隶属度函数定义的聚类损失函数可以写为 其中，b1是一个可以控制聚类结果的模糊程度的常数。 在不同的隶属度定义方法下最小化式Jf的损失函数，就得到不同的模糊聚类方法。 其中最有代表性的是模糊c均值方法，它要求一个样本对于各个聚类的隶属度之和为1，即 在上述约束下求Jf的极小值，令Jf对mi和μj（xi）的偏导数为。可得必要条件 算法步骤 设定聚类数目C和参数b 初始化各个聚类中心mi。 重复下面的运算，直到各个样本的隶属度值稳定： --用当前的聚类中心根据式（1）计算隶属度函数： --用当前的隶属度函数按式（2）更新计算各类聚类中心 当算法收敛时，就得到了各类的聚类中心和各个样本对于各类的隶属度值，从而完成了模糊聚类划分。如果需要，还可以将模糊聚类结果进行去模糊化，即用一定的规则把模糊聚类划分转化为确定