模式分类(通俗导论).pptx

之模式分类 模式识别 模式分类是模式识别的核心。 模式分类 事情还没有发生,要求这件事情发生的可能性的大小,是先验概率. 事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率. 后验概率是指在得到“结果”的信息后重新修正的概率，如贝叶斯公式中的。是“知果寻因”问题中的果。先验概率与后验概率有不可分割的联系，后验概率的计算要以先验概率为基础。 预备知识 假设一个学校里有60%男生和40%女生。女生穿裤子的人数和穿裙子的人数相等，所有男生穿裤子。一个人在远处随机看到了一个穿裤子的学生。那么这个学生是女生的概率是多少？ 使用贝叶斯定理，事件A是看到女生，事件B是看到一个穿裤子的学生。我们所要计算的是P(A|B)。 P(A)是忽略其它因素，看到女生的概率，在这里是40% P(A)是忽略其它因素，看到不是女生（即看到男生）的概率，在这里是60% P(B|A)是女生穿裤子的概率，在这里是50% P(B|A)是男生穿裤子的概率，在这里是100% P(B)是忽略其它因素，学生穿裤子的概率，P(B) = P(B|A)P(A) + P(B|A)P(A)，在这里是0.5×0.4 + 1×0.6 = 0.8. 根据贝叶斯定理，我们计算出后验概率P(A|B) P(A|B)=P(B|A)*P(A)/P(B)=0.25 是男生的 P(A‘|B)= P(B|A)P(A)/P(B)=0.75. 可见，后验概率实际上就是条件概率。[1] 举例： 贝叶斯分类器（又称最优分类器） 贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。 采用贝叶斯分类器必须满足两个先决条件： 要决策的类别数是一定的。 各类别总体的概率分布是已知的。 贝叶斯分类器 贝叶斯分类器 贝叶斯分类器 贝叶斯分类器 综上： 应用贝叶斯规则对模式x进行分类的分类器称为贝叶斯分类器。 对于c类分类问题，按照决策规则可以吧特征向量空间（或称模式空间）分成c个决策域，各个决策域的边界称为决策边界。 贝叶斯分类器 本次不讲 线性分类器（感知分类器） 用途： 对于线性不可分的样本集应该采用非线性分类器。 近邻域法是一种典型的非线性分类器，也是一种非参数模式识别的方法，与感知器算法一样，也不需要事先给出先验概率和先验概率密度函数等知识，而是直接对样本进行操作。 近邻法将全部样本作为标注样本，根据所使用在待识样本周围的近邻样本个数，又分为最近邻法和k-近邻法 非线性分类器（近邻分类器） 近邻分类器 最近邻法在应用中也被称为模板匹配法，在模板匹配法中，已知的样本被称为模板，将待识模式与模板逐一比对，最相近的模板所属的类别就是待识模式的类别。 近邻分类器 2.对最近法的一个明显的改进是k-近邻法，这个法则就是在X的K个邻域中，按出现最多的样本类别作为X的类别。换言之，就是先对X的K个近邻一一找出他们的类别做出一次表决。 非线性分类器（k-近邻法） k-近邻法 上节介绍的模式分类器在学习状态时所利用的样本必须都是已知类别的，因此，这种学习称为有监督学习。 但在一些实际的应用中，往往没有已知类别的样本可供利用，甚至将提供的样本应分成几类都不知道。 模式聚类 下面要讨论的内容就是将未知类别的样本集划分成若干子集（类），划分的直接成果，完成了样本的分类，可能间接成果是确定了分类器的参数。 由于所用样本是没有类别标志的，因此通常称为无监督学习。 模式聚类 无监督学习是以“物以类聚”为指导思想的，对未知类别的样本集根据样本之间的相似度分类，相似的归为一类，不相似的归为另一类。故这种模式聚类叫做聚类分析。 采用模式聚类，首先要解决两个问题： 一是如何衡量两个样本的相似程度（即模式相似性的测度）。 二是相似到什么程度归为一类（聚类准则）。 模式聚类 模式相似度的测度 模式相似度的测度 模式相似度的测度 坐标系变换 旋转 平移 放大和缩小 距离相似函数特性 不变性 不变性 不具有不变性 角度相似函数特性 不变性 不具有不变性 不变性 为了评价聚类结果的好坏，必须定义准则函数。 聚类准则 聚类准则 模式聚类的三要素： 相似性测度、聚类准则、聚类算法。 选定相似性测度和聚类准则后，下面的问题是用什么算法找出使准则函数取极值的最好聚类结果。 聚类算法（层次聚类法） 现有两种聚类算法 非迭代的层次聚类算法 迭代的动态聚类算法 本讲只讲层次聚类算法。 层次聚类算法也称系统聚类法、分类聚类法。该方法的流程图： 聚类算法（层次聚类法） 显而易见层次聚类的性质：在某一级划分时归入同一类的样本，在此后的划分中，他们永远属于同一类