Lecture3_2Bayes学习(Part1)选编.ppt

Bayes Learning Framework MAP Definition To find the most probable hypothesis given the data D. Any such maximally probable hypothesis is called a maximum a posteriori (MAP) hypothesis. Solution To use Bayes theorem (Bayes rule) to calculate the posterior probability of each candidate hypothesis. More precisely, Maximum likelihood (ML) Simplification if (or assuming) for all hi and hj in H, MAP is simplified and we need only consider the term P(D|h) to find the most hypothesis. P(D|h) is called likelihood of the data D given h. Solution Any hypothesis that maximizes P(D|h) is called a maximum likelihood (ML) hypothesis. ML and MSE (LS) *** Bayes 决策函数 已知先验概率P(ωi)和观测值的类条件概率密度函数p(x|ωi)，i=1,2… 则决策函数为： Bayes MAP 分类判决 给定观测样本数据x，它判决为类别ωj, if and only if: 如果每个类别出现的概率相同（eg: P(ωi) =1/C），则判决规则变为： Bayes MAP/ML 分类决策规则 Form 1: （表达形式1，可看作是一个hypothesis） Form 2: （常见的数学描述形式） 分类器设计框图 分类器是某种由硬件或软件组成的“机器”： 计算c个判别函数gi (x) 最大值选择 多类识别问题的Bayes决策函数：gi (x) = P(ωi|X) 一个简单的分类问题 正态分布的Bayes决策 回顾MAP判别函数： gi (x) = P(ωi |x) P(ωi ) Bayes MAP 判决函数： Maximum gi (x) 等效于（取对数）： gi (x) = ln P(x|ωi ) + ln P(ωi ) 如果我们知道了某类别的先验概率分布，我们就可以在Bayes MAP框架下求出分类判别函数，从而设计出分类器，得到正确的分类假设（Hypothesis） 正态分布（Gaussian） 最常用概率密度模型：正态分布 观测值通常是很多种因素共同作用的结果，根据中心极限定理，它们（近似）服从正态分布。 计算、分析最为简单的模型。 中心极限定理 概率论中最重要的一类定理，有广泛的实际应用背景。是概率论的重要内容，也是数理统计学的基石之一。 在自然界与生产中，一些现象受到许多相互独立的随机因素的影响，如果每个因素所产生的影响都很微小时，总的影响可以看作是服从正态分布的。中心极限定理就是从数学上证明了这一现象。 独立同分布随机变量序列的中心极限定理：它表明，独立同分布、且数学期望和方差有限的随机变量序列的和以正态分布为极限。 一元正态分布 一元正态分布及其两个重要参数： 均值（中心） 方差（分散度） 多元正态分布 观测向量x：实际应用中，可以同时观测多个值，用向量表示。多元正态分布： 正态分布下的Bayes MAP决策 观测向量的类条件分布服从正态分布： MAP判决函数为： 最小欧式距离分类器（MED） 如果所有类的协方差矩阵为常系数单位矩阵: 则判决函数为： 正态模型的Bayes决策面 正态分布且 时的决策面 Duda 书给的决策面示意图 回到我们刚才那个简单的问题 更复杂的情况… 各类的协方差矩阵不同情况下，判别函数如何？ Homework Textbook 习题 6.1 课后阅读： R.O.Duda等著，《模式分类》第2章、第3章 Thank You！ 贝叶斯学习（Part 1）Bayesian Learning 第 4 讲 *Partly derived from Prof. Lianwen Jin, Zhi-hua Zhou, and Xue-Gong Zhang’s slid