.1机器学习综述.pptVIP

*/60 Logistic函数 */60 Logistic回归方程的建立 */60 梯度下降 */60 Logistic回归的过程描述 假定有M个样本X，每个样本都是N维的。那么，设需要求的参数记做w，则w是N维向量。 y = Logistic(Xw) 上式就是要学习的目标函数。 未知参数是N个实参数w。 使用极大似然估计，能够建立关于w的方程。用梯度下降法，求该方程的梯度，设置合适的学习率α解这N个参数w。 */60 贝叶斯准则 条件概率公式 P(x|y) = P(x,y) / P(y) ? P(x,y) = P(x|y) * P(y) P(y|x) = P(x,y) / P(x) ? P(x,y) = P(y|x) * P(x) 则P(x|y) * P(y) = P(y|x) * P(x) 从而： P(x|y) = P(y|x) * P(x)/ P(y) 分类原则：在给定的条件下，哪种分类发生的概率大，则属于那种分类。 */60 Bayes的实例 */60 后验概率 c1、c2表示左右两个信封。 P(R)，P(B)表示摸到红球、黑球的概率。 P(R)=P(R|c1)*P(c1) + P(R|c2)*P(c2)：全概率公式 P(c1|R)=P(R|c1)*P(c1)/P(R) P(R|c1)=2/4 P(R|c2)=1/3 P(c1)=P(c2)=1/2 如果摸到一个红球，那么，这个信封有1美元的概率是0.6 如果摸到一个黑球，那么，这个信封有1美元的概率是3/7 */60 朴素贝叶斯的假设 一个特征出现的概率，与它相邻的特征没有关系（特征独立性） 每个特征同等重要（特征均衡性） */60 以文本分类为例 样本：1000封邮件，每个邮件被标记为垃圾邮件或者非垃圾邮件 分类目标：给定第1001封邮件，确定它是垃圾邮件还是非垃圾邮件 方法：朴素贝叶斯 */60 分析 类别c：垃圾邮件c1，非垃圾邮件c2 词汇表：统计1000封邮件中出现的所有单词，记单词数目为N，即形成词汇表。 将每个样本si向量化：初始化N维向量xi，若词wj在si中出现，则xij=1，否则，为0。从而得到1000个N维向量x。 使用：P(c|x)=P(x|c)*P(c) / P(x) */60 分解 P(c|x)=P(x|c)*P(c) / P(x) P(x|c)=P(x1,x2…xN|c)=P(x1|c)*P(x2|c)…P(xN|c) P(x)=P(x1,x2…xN)=P(x1)*P(x2)…P(xN) 带入公式： P(c|x)=P(x|c)*P(c) / P(x) 等式右侧各项的含义： P(xi|cj)：在cj(此题目，cj要么为垃圾邮件1，要么为非垃圾邮件0)的前提下，第i个单词xi出现的概率 P(xi)：在所有样本中，单词xi出现的概率 P(cj) ：(垃圾邮件)cj出现的概率 */60 EM算法的典型题目 三硬币模型 假设有3枚硬币，分别记做A，B，C。抛硬币过程中，这些硬币正面出现的概率分别是π，p，q。进行如下试验：先抛硬币A，如果正面朝上，则抛硬币B；如果反面朝上，则抛硬币C。抛完B或者C后，如果正面朝上，记为1，否则记为0；独立重复n次试验（这里，n=10），观测结果如下：1,1,0,1,0,0,1,0,11。试估计π，p，q的值。 */60 EM的推导 将观测变量记做Y，待估计参数记做θ(π，p，q) P(y|θ)=Σz P(y,z|θ)= ΣzP(z|θ)P(y|z, θ) =P(z=0|θ)P(y|z=0, θ)+P(z=1|θ)P(y|z=1, θ) =πpy(1-p)1-y+ (1-π)qy(1-q)1-y 应用极大似然估计 P(Y|θ)=Π πpyi(1-p)1-yi+ (1-π)qyi(1-q)1-yi */60 别忘了机器学习的第一步：建模 皇帝不是穷人，在守财奴之中也有穷人，所以，有一些_______并不是_______。 */60 使用离散数学分析该题目 p：这个人是皇帝 q：这个人是穷人 r：这个人是守财奴 皇帝不是穷人：p→~q 在守财奴之中也有穷人：ョx(x∈r ^ x∈q) */60 分析过程 r：这个人是守财奴 p：这个人是皇帝 有一些 守财奴 并不是 皇帝 。 */60 这部分的参考文献 Prof. Andrew Ng, Machine Learning, Stanford University 高等数学，高等教育出版社，同济大学数学教研室 主编, 1996 Mia Hubert, Peter J. Rousseeuw, Karlien Vanden Branden, ROBPCA: a New Approach to Robust Principal Component