模式识别之二次和线性分类器.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 若原来的两个密度函数分的较开，则f相对于ω2的期望将较小（1）。 这时的－ln值将会大，Bhattacharyya距离将会大。 * 第六十三页，共九十二页。 反之，若p1 (x)和p2 (x)近似重叠，则期望值将较大，－ln将较小。即Bhattacharyya距离小。如下图： * 第六十四页，共九十二页。 偏离度和B距离是真的距离度量吗？ 偏离度和Bhattacharyya距离都满足： 在一对一的线性变换下不变； 当x的分量独立时，这两个量都满足相加性（对每个成分）。 * 第六十五页，共九十二页。 令 表示偏离度或Bhattacharyya距离，有： 但它们都不满足距离的三角不等式，所以都不是真实的距离。但它们满足下面的性质： * 第六十六页，共九十二页。 对于高斯分布的数据，可以推导出它的偏离度的封闭形式解。 高斯分布下的偏离度和Bhattacharyya距离 而 * 第六十七页，共九十二页。 由于 而且由 有 * 第六十八页，共九十二页。 和 ∴ * 第六十九页，共九十二页。 同样，有： ∴ 这就是高斯分布的偏离度。 * 第七十页，共九十二页。 对于高斯分布的Bhattacharyya距离，有相似的推导。 * 第七十一页，共九十二页。 其中的指数项可以化为： 可以化为 * 第七十二页，共九十二页。 其中 * 第七十三页，共九十二页。 ∴ * 第七十四页，共九十二页。 可以证明 （※） 以及 （※※） * 第七十五页，共九十二页。 证明的思路和技巧：定义量 先证明 由此再证： 以及 * 第七十六页，共九十二页。 由上面各种关系证明（※）和（※※）。 ∴ 这是对于高斯分布的Bhattacharyya距离。 * 第七十七页，共九十二页。 由上式的B和前面的 可以看出，当两类的协方差矩阵相等时，K1= K2= K， ∴ 此时的D 和B 是等价的度量，而且和两类均值间的马氏距离等价。说明D 和B 确是两类间偏离和距离的一种度量。 * 第七十八页，共九十二页。 上一小节定义了偏离度和Bhattacharyya距离。下面分析它们和错误率的关系。 这一节讨论似然比检验的错误率的上界。它们是基于Bhattacharyya距离及其推广。 四. 错误率的Bhattacharyya和Chernoff界 最小错误率的上界 最小错误率（有时也叫贝叶斯错误率）eB 为： * 第七十九页，共九十二页。 利用不等式 上式可以化为： 即 这个结果称为Bhattacharyya界。 * 第八十页，共九十二页。 若利用不等式 和前面的推导一样，可得更一般的Chernoff界： 式中 对于高斯密度函数，可以解出上面的积分，得 * 第八十一页，共九十二页。 比较一下B 和 ，有 即当 时 Chernoff界就变为Bhattacharyya界。 * 第八十二页，共九十二页。 使用Chernoff界的优点是： 它可以求出错误率的紧上界(求适当的s），此时s一般不等于 。 利用 可以估计各个类的错误率 和 ，以及使用任何阈值T的似然比检验的错误率。 * 下面我们分析Chernoff界的另一种推导方法。 * 第八十三页，共九十二页。 * 2.一般似然比检验的Chernoff界 考虑一般的对数似然比检验： 而 * 第八十四页，共九十二页。 或 现定义一组（族）新的密度函数： * 第八十五页，共九十二页。 由于 的积分等于 ，所以 也是密度函数，其积分等于1。 下面分析错误率 ： 由于 ，是实数，函数 是 的单调减函数。 ∴ 在积分区域内，有 ∴ * 第八十六页，共九十二页。 ∵上式的积分小于1 ∴ 用同样的方法可以建立 的界 另外的方法是利用下面等价的对数似然比检验 * 第八十七页，共九十二页。 并定义量 上面 和 的界也称为Chernoff界。 用和上面同样的推导序列，有 令 ，而且由于 ，可得 * 第八十八页，共九十二页。 使等式成立的s0即为要找的s0。 前节所建立的总错误率 也可以利用本节的结果来得到。 和 的紧上界可以由选择s以使e的