PRML_Lecture2018_04A_Linear_Model_for_Classification英文文献资料.pdf

模式识别与机器学习模式识别与机器学习 Pattern Recognition Machine Learning 主讲主讲:: 李春光李春光 /teacher/lichunguang 模式识别与智能系统实验室 信息与通信工程学院 网络搜索教研中心 北京邮电大学 用于分类的线性模型内容提要 • 引子:2个类别的分类问题 • 判别函数法判别函数法 – Fisher准则 – 感知器法则感知器法则 • 概率生成模型 – 连续型输连续型输入数据数据 – 离散型输入数据 • 概率鉴别模型概率鉴别模型 – 逻辑斯蒂回归 – 多类逻辑斯蒂回归多类逻辑斯蒂回归 – 贝叶斯逻辑斯蒂回归 模式识别与机器学习 - Pattern Recognition Machine Learning 模式识别与智能系统实验室 C.G. Li 2 2个类别的分类问题 • 考虑2个类别的分类 问题 – 如果在分类面的正如果在分类面的正 侧, 认为是类别1 – 如果在分类面的负如果在分类面的负 侧,认为是类别2 • 分类面如何定义? 模式识别与机器学习 - Pattern Recognition Machine Learning 模式识别与智能系统实验室 C.G. Li 3 若使用最最小二乘乘法 • 给定训练数据集{x , t } ，借助回归问题的方 n n 法 T T ⎛ w ⎞ ⎛ x ⎞ % % y (x ) w x =+ w0 w x % % x , 其中 w ⎜⎜ w ⎟⎟ ⎜ 11 ⎟ ⎝⎝ 0 ⎠⎠ ⎝⎝ ⎠⎠ – 写成矩阵向量形式 T % % y (x) w x – 代价函数为 % 1 %T % %T % T EEDD ((ww )) 2 trtr {{(( XX ww − tt )) (( XX ww − tt )) }} – 求导，令导数为0，则得到 − 11 T † %% % % % w (XX ) X ⋅t