PR_Lecture2014_04_Linear_Model_for_Classification(1)英文文献资料.pdf

模式识别引论 An Introduction to Pattern Recognition 主讲: 李春光 /teacher/lichunguang 模式识别与智能系统实验室 网络搜索教研中心 信息与通信工程学院 北京邮电大学 用于分类的线性模型内容提要 • 引子:2个类别的分类问题 • 鉴别函数 – 最小二乘法用于分类 – Fisher准则 – 感知器法则 • 概率生成模型 – 连续型输入数据 – 离散型输入数据 • 概率鉴别模型 – 逻辑斯蒂回归 – 多类逻辑斯蒂回归 – 贝叶斯逻辑斯蒂回归 模式识别引论 - Intro. to Pattern Recognition 模式识别与智能系统实验室 2 2个类别的分类问题 •考虑2个类别的分类 问题 – 如果在分类面的正 侧, 认为是类别1 – 如果在分类面的负 侧,认为是类别2 •分类面如何定义? 模式识别引论 - Intro. to Pattern Recognition 模式识别与智能系统实验室 3 用于分类的线性模型内容提要 • 引子:2个类别的分类问题 • 鉴别函数 – 最小二乘法用于分类 – Fisher准则 – 感知器法则 • 概率生成模型 – 连续型输入数据 – 离散型输入数据 • 概率鉴别模型 – 逻辑斯蒂回归 – 多类逻辑斯蒂回归 – 贝叶斯逻辑斯蒂回归 模式识别引论 - Intro. to Pattern Recognition 模式识别与智能系统实验室 4 线性判别函数 •定义线性判别函数为 •几何意义: – 数据点x到分类超平面 的代数距离 •提示: 借助点到超平面 的距离来计算… – 如何估计w ？ 模式识别引论 - Intro. to Pattern Recognition 模式识别与智能系统实验室 5 最小二乘法 •给定训练数据集{x , t } ，借助回归问题的方 n n 法 T T ⎛ w ⎞ ⎛ x ⎞ y (x ) w x =+ w0 w x x w 其中 ⎜ w ⎟ , ⎜ 1 ⎟ ⎝ 0 ⎠ ⎝ ⎠ – 写成矩阵向量形式 T y (x) w x – 代价函数为 1 T