机器学习课件-13.EM算法.pdfVIP

法律声明  本课件包括演示文稿、示例、代码、题库、视频和 声音等内容，小象学院和主讲老师拥有完全知识产 权的权利；只限于善意学习者在本课程使用，不得 在课程范围外向任何第三方散播。任何其他人或机 构不得盗版、复制、仿造其中的创意及内容，我们 保留一切通过法律手段追究违反者的权利。  课程详情请咨询  微信公众号：小象  新浪微博：ChinaHadoop 互联网新技术在线教育领航者 1/58 EM算法 邹博 主要内容  通过实例直观求解高斯混合模型GMM  适合快速掌握GMM ，及编程实现  通过最大似然估计详细推导EM 算法  适合理论层面的深入理解  用坐标上升理解EM 的过程  推导GMM 的参数φ 、μ 、σ  复习多元高斯模型  复习拉格朗日乘子法 互联网新技术在线教育领航者 3/58 EM Code 互联网新技术在线教育领航者 4/58 复习：Jensen不等式：若f是凸函数  基本Jensen不等式  若  则  若  则 互联网新技术在线教育领航者 5/58 引子：K-means算法  K-means 算法，也被称为k- 平均或k- 均值，是一种广泛 使用的聚类算法，或者成为其他聚类算法的基础。  假定输入样本为S=x ,x ,...,x ，则算法步骤为： 1 2 m  选择初始的k 个簇中心μ μ …μ 1 2 k label arg min x   将样本x 标记为距离簇中心最近的簇： i i j i 1 1j k  更新簇中心：j xi | cj | icj  重复最后两步，直到满足终止条件。  中止条件：迭代次数/ 簇中心变化率/最小平方误差MSE 互联网新技术在线教育领航者 6/58 K-means过程 互联网新技术在线教育领航者 7/58 思考  经典的K-means 聚类方法，能够非常方便的 将未标记的样本分成若干簇；  但无法给出某个样本属于该簇的后验概率。  其他方法可否处理未标记样本呢？ 互联网新技术在线教育领航者 8/58 最大似然估计  找出与样本的分布最接近的概率分布模型。  简单的例子  10次抛硬币的结果是：正正反正正正反反正正  假设p 是每次抛硬币结果为正的概率。则：  得到这样的实验结果的概率是：      P pp 1p ppp 1p 1p pp p 7 1p 3