机器学习中的些方法解.pptVIP

高斯混合模型GMM 混合模型(Mixed Model)： 其中 ，满足 即混合模型由K个成分组成，每个成分 的权重为 若混合模型中每个成分为高斯分布， 则为高斯混合模型(Gaussian Mixture Model) 高斯分布 混合高斯模型 K个高斯密度函数的组合 其中 称为混合系数，且满足 可以理解为样本x属于第k个分布的先验 GMM的例子 例1：一个班级每个学生的身高为 假设男生和女生的身高分别服从高斯分布 则 其中 为男生的比例， GMM的例子 例2： 分布的随机数的直方图 问题描述 给定一些观察数据X, 假设X服从如下的混合高斯分布 我们要求混合高斯模型的一组 参数 GMM——求解参数 最大似然估计： 似然函数的log 简化的问题 该高斯混合分布一共有K个分布，并且对于每一个观察到的x,如果我们同时还知道它是属于K中哪一个分布的，则求各个参数并不是件难事 比如用z来表示每一个高斯分布，那么我们的观察样本不仅仅是{x1,x2,x3...},而是{(x1,z2),(x2,z3),(x3,z1)...} 实际问题 而现实往往是： 我们不知道每个x属于哪个分布，也就是说z我们是观察不到的，z是隐藏变量（latent variable） 隐藏变量Z 为了将K个高斯分布用一个随机变量表示 可以采用1-of-K的方法 随机变量z=(z1,z2,..,zk),当x属于zk时，对应的zk=1 其余全部为0。z=(0,1,0)表示x属于第二个高斯分布 于是 隐藏变量和混合高斯模型 将z引入后 最终得到 再看简化的问题 前面说过，在简化问题中我们观察到的是{X,Z}，因此根据以下两个式子 可以得到 其中znk表示xn属于第k个高斯分布 两个问题的比较 简化问题的计算1 简化问题的计算2 计算单一高斯分布的参数 多变量正态分布 简化问题参数结果 实际问题 至此我们已经解决了简化问题的参数求解。但是，实际上我们往往不知道znk，即Z往往是隐藏变量，怎么也能运用前面简化问题的算法 虽然不知道znk，但是我们可以用它的期望E[znk]去估计znk Znk的期望估计 是p(zk=1)的先验 是观察到样本之后的后验 简化问题——实际问题 EM for Gaussian Mixtures 1.初始化均值uk,协方差∑k和混合系数πk 2.E step (计算znk的期望值) 3.M step (重新计算参数值) EM for Gaussian Mixtures 4.测试是否达到停止条件，如果停止条件不满足返回到第2步 例子 Logistic Regression Classification Machine Learning * Binary Classification Email: Spam / Not Spam? Online Transactions: Fraudulent (Yes / No)? Tumor: Malignant / Benign ? 0: “Negative Class” (e.g., benign tumor) 1: “Positive Class” (e.g., malignant tumor) Binary Classification Classification: y = 0 or 1 Threshold classifier output at 0.5: If , predict “y = 1” If , predict “y = 0” can be 1 or 0 Logistic Regression: * Logistic Regression Model Want Sigmoid function Logistic function Interpretation of Hypothesis Output = estimated probability that y = 1 on input x Tell patient that 70% chance of tumor b