PRML_Lecture2018_04B_Linear_Model_for_Classification英文文献资料.pdfVIP

模式识别与机器学习模式识别与机器学习 Pattern Recognition Machine Learning 主讲主讲:: 李春光李春光 /teacher/lichunguang 模式识别与智能系统实验室 信息与通信工程学院 网络搜索教研中心 北京邮电大学 用于分类的线性模型内容提要 • 引子:2个类别的分类问题 • 判别函数判别函数 – 最小二乘法用于分类 – FihFisher准则准则 – 感知器法则 • 概率生成模型概率生成模型 – 连续型输入数据 – 离散型输入数据离散型输入数据 • 概率鉴别模型 – 逻辑斯蒂回归逻辑斯蒂回归 – 多类逻辑斯蒂回归 – 贝叶斯逻辑斯蒂回归贝叶斯逻辑斯蒂回归 模式识别与机器学习 - Pattern Recognition Machine Learning 模式识别与智能系统实验室 C.G. Li 2 贝叶斯逻辑斯蒂回归 • Logistic回归的贝叶斯方式 •• 与贝叶斯线性不同与贝叶斯线性不同 ，由于由于LogisticLogistic函数的使函数的使 用，准确推理无法进行 – 推理后验概率时，归一化常数Z的计算是 intractable – 在计算预测性分布时，对参数w的积分是 intractable • 解决方法： – 使用使用LLapllace AApproxiimatition 模式识别与机器学习 - Pattern Recognition Machine Learning 模式识别与智能系统实验室 C.G. Li 3 拉普拉斯近似((Lapplace Apppproximation)) • 考虑一个分布函数p(z) – 寻找一个近似函数寻找一个近似函数q(z)q(z), 其中心点其中心点zz 位于位于p(z)p(z)的的 0 众数(mode)上，即 模式识别与机器学习 - Pattern Recognition Machine Learning 模式识别与智能系统实验室 C.G. Li 4 拉普拉斯近似拉普拉斯近似 模式识别与机器学习 - Pattern Recognition Machine Learning 模式识别与智能系统实验室 C.G. Li 5 对后验分布做Lapplace近似 • 先验分布: • 似然函数: – 对数似然函数为对数似然函数为:: 模式识别与机器学习 - Pattern Recognition Machine Learning 模式识别与智能系统实验室 C.G. Li 6 对后验分布做Lapplace近似 • 给定对数似然函数为: • 构造Laplace近似: q(w) – 寻找后验分布寻找后验分布的的众数众数(mode(mode))的位置的位置:: 即即MAPMAP解解wwMAPMAP – 计算负对数似然函数的Hessien矩阵 -11 模式识别与机器学习 - Pattern Recognition Machine Learning 模式识别与智能系统实验室 C.G. Li 7 拉普拉斯近似拉普拉斯近似 模式识别与机器学习 - Pattern Recognition Machine Learning 模式识别与智能系统实验室 C.G. Li 8 计算预测性分布 • 预测性分布为: – 变形技巧: 模式识别与机器学习 - Pattern Recognition Machine Learning 模式识别与智能系统实验室 C.G. Li 9 Q / A