贝叶斯决策论教案.pptVIP

正态分布与熵之间的关系 熵的定义 单位为奈特; 若换为 ,单位为比特。熵是一个非负的量 用来描述一种分布中随机选取的样本点的不确定性。可以 证明正态分布在所有具有给定均值和方差的分布中具有最大 熵。并且，如中心极限定理所述，大量的小的，独立的随机 分布的总和等效为高斯分布。 多元密度函数 多元正态密度 其中x是一个d维列向量， 是d维均值向量， 是 的协方差矩阵， 和 分别是其行列式的值和逆。 形式上有： 协方差矩阵 通常是对称的且半正定。我们将严格限定 是正定的。对角线元素 是相应的 方差; 非对角线元素 是 和 的协方差。如果 和 统计独立，则 。如果所有的非 对 角线元素为0，那么p(x)变成了x中各元素的单变量正态密度函数的 内积。 服从正态分布的随机变量的线性组合，不管这些随机变量是独立 还是非独立的，也是一个正态分布。(这是个非常有用的结论） 特别地，如果 ，A是一d*k的矩阵且 是 一k维向量，则 白化(Whitening) 变换 F: 其列向量是 S的正交特征向量. L: 与特征值对应的对角矩阵. 白化