第十章无监督学习与聚类.pdfVIP

第十章无监督学习与聚类 10.0 监督学习与无监督学习  监督学习与无监督学习的最大区别在于训练 样本是否有类别标号，无类别标号的称为无 监督学习；  监督学习与无监督学习也被称为有教师学习 与无教师学习。 10.1 混合密度及可辨识性  从理论上讲，无监督学习可以看作是一个混 合密度的估计问题： 1. 所有样本都来自于c种类别，c 已知； 2. 每种类别的先验概率P  已知；   j 3. 类条件概率的数学形式已知p x ,θ ，但 j j θ 参数 未知； j 4. 样本类别未被标记。 混合密度  样本可以看作是按如下方式产生的：先以 P   概率  决定其所属类别 ，然后根据概 j j 率密度p x  ,θ 生成一个具体的样本x 。 j j  因此x样本的产生概率为： c p x θ p x  ,θ P         j j j j 1 可辨识性  不可辨识：如果无论样本的数目有多少，都 θ p x θ 不存在唯一的解 ，则称密度  是不可 辨识的； θ  完全不可辨识：如果参数 的任何部分都无 法求出，则称为完全不可辨识；  大多数的混合密度是可以辨识的，但也存在 某些混合密度是无法辨识的。 混合0-1分布  假设样本x 的概率是由两个0-1分布混合而成， 两个分布的先验概率相等，参数分别为 , 1 2 则混合概率为：  1   , x 1 1 x 1 x  1 2 x 1 x 1  2 θ 1 1 p x           1 1 2 2  2 2  1 1 