第二章节_贝叶斯决策论资料.pptVIP

Chapter 2 Bayesian Decision Theory– 贝叶斯决策论 白化(Whitening) 变换 F: 其列向量是 S的正交特征向量. L: 与特征值对应的对角矩阵. 白化(Whitening) 变换 Example: 三维二值特征的贝叶斯决策 Example: 三维二值特征的贝叶斯决策 多类情况 正确分类的概率 贝叶斯分类器通过选择对所有x使得被积函数最大化的区域使正确分类的概率最大化。 没有其他分类方法能产生更小的分类概率。 2.8 正态密度的错误上界 在高斯函数的情况下, 整个误差率计算过程相当复杂。 特别是高维情形。 判决区域可能不连续。 在两类情况下，一般错误积分公式可近似的给出一个误差率的上界。 Chernoff 界 Chernoff Bound 0.66Bhattacharyya Bound 0.5 Bhattacharyya Bound Example: 在高斯分布下的错误率的界 Example:在高斯分布下的错误率的界 Bhattacharyya 界 k(1/2) = 4.06 P(error) 0.0087 Chernoff 界 0.016380 通过数值查找错误率估计 0.0021 对高维不实用 信号检测理论 在检测器某点 上有个内部信号x ： 当外部信号出现时，有均值 m2 当外部信号不出现时，有均值 m1 p(x|wi) ~ N(mi, s2) 信号检测理论 四种概率： 一次击中: P(xx*|x in w2) 一次虚警: P(xx*|x in w1) 一次漏检: P(xx*|x in w2) 一次正确拒绝: P(xx*|x in w1) Receiver Operating Characteristic (ROC) 丢失特征举例: 丢失特征情形下的决策： 噪声特征 Example: 鱼分类置信网 检测器分类器将利用一个阈值x*来判定是否存在外部脉冲。 识别率 错误接受率 错误拒绝率 P(xx*|x∈ω1) 2.10 丢失特征和噪声特征 丢失特征 考虑训练集数据未受损，测试集数据受损情形。 正态分布与熵之间的关系 熵的定义 单位为奈特; 若换为 ,单位为比特。熵是一个非负的量 用来描述一种分布中随机选取的样本点的不确定性。可以 证明正态分布在所有具有给定均值和方差的分布中具有最大 熵。并且，如中心极限定理所述，大量的小的，独立的随机 分布的总和等效为高斯分布。 多元密度函数 多元正态密度 其中x是一个d维列向量， 是d维均值向量， 是 的协方差矩阵， 和 分别是其行列式的值和逆。 形式上有： 协方差矩阵 通常是对称的且半正定。我们将严格限定 是正定的。对角线元素 是相应的 方差; 非对角线元素 是 和 的协方差。如果 和 统计独立，则 。如果所有的非 对 角线元素为0，那么p(x)变成了x中各元素的单变量正态密度函数的 内积。 服从正态分布的随机变量的线性组合，不管这些随机变量是独立 还是非独立的，也是一个正态分布。(这是个非常有用的结论） 特别地，如果 ，A是一d*k的矩阵且 是 一k维向量，则 2.6 正态分布的判别函数 最小误差概率分类可通过判别函数获得 如果已知 那么 其中： 情况1： 这种情况发生在各特征统计独立，且每个特征具有相同的 方差时。此时的协方差阵是对角阵，仅仅是 与单位阵I 的乘积。几何上它与样本落于相等大小的超球体聚类中的 情况相对应，第i类的聚类以均值向量 为中心。 省略掉其它无关紧要的附加常量，可得到简单的判决函数 展开后我们得到 省略附加常量，等价于线性判决函数 其中 且 称 为第 i个方向的阈值或者偏置。 使用线性判别函数的分类器称为“线性机器”。这类分类器有许多有趣的理论性质，其中一些将在第5章中详细讨论。此处只需注意到一个线性机器的判定面是一些超平面，它们是由两类问题中可获得最大后验概率的线性方程 来确定。 在以上的例子中，该方程可写为 其中 且 此方程定义了一个通过 x0 且与向量 w 正交的超平面。由于 ， 将 Ri 与 Rj 分开的超平面与两中心点的连线垂直。若 则上式 右边第二项为零，因此超平面垂直平分两中心点的连线