第10章 无监督学习与聚类.ppt

第十章 无监督学习与聚类 10.0 监督学习与无监督学习 监督学习与无监督学习的最大区别在于训练样本是否有类别标号，无类别标号的称为无监督学习； 监督学习与无监督学习也被称为有教师学习与无教师学习。 10.1 混合密度及可辨识性 从理论上讲，无监督学习可以看作是一个混合密度的估计问题： 所有样本都来自于c种类别，c已知； 每种类别的先验概率 已知； 类条件概率的数学形式已知 ，但参数 未知； 样本类别未被标记。 混合密度 样本可以看作是按如下方式产生的：先以概率 决定其所属类别 ，然后根据概率密度 生成一个具体的样本x。 因此x样本的产生概率为： 可辨识性 不可辨识：如果无论样本的数目有多少，都不存在唯一的解 ，则称密度 是不可辨识的； 完全不可辨识：如果参数 的任何部分都无法求出，则称为完全不可辨识； 大多数的混合密度是可以辨识的，但也存在某些混合密度是无法辨识的。 混合0-1分布 假设样本x的概率是由两个0-1分布混合而成，两个分布的先验概率相等，参数分别为 则混合概率为： 即使可以统计出 ， 也无法求解出参数