第12讲 正态和离散分布下的统计决策.pptVIP

第12讲 正态和离散分布下的统计决策 要点： 基本问题 最小错误率Bayes决策的判别函数 数学期望和方差 正态分布下的判别函数 离散分布下的判别函数 基本问题 如何在正态或离散分布的条件下进一步分析最小错误率Bayes决策，如何简化决策准则，如何确定决策面等等。 返回 最小错误率Bayes决策的判别函数 设有c个类别?1,?2，…, ?c，样本X是d维随机向量，p(X|?j)是X在?j状态下的类条件概率密度，P(?j)是先验概率，P(?j|X)表示后验概率。 最小错误率Bayes决策准则可以用几种不同的判别函数来描述 两类情况下的判别函数 返回 最小错误率Bayes决策准则 如果P(?i|X)P(?j|X)对于一切i?j成立，则决策X??i。 返回 几种不同的最小错误率判别函数 最小错误率Bayes决策规则可以用下面几种不同的判别函数gi(X)来描述： 返回 决策规则为： 如果 , 则决策X??i。 决策规则示意图 返回 两类情况下的判别函数 对于两类问题可以构造一个判别函数g来代替两个判别函数，即： g(X) ?g1(X)?g2(X) 相应的最小错误率判别函数为 返回 两类情况下的决策规则 如果g(X) 0，则决策X??1，否则X??2。 返回 数学期望和方差 标量函数的期望 标量函数的方差 返回 标量函数的期望 设x是密度分布为p(x)的连续随机变量或概率分布为P(x)的离散随机变量，f(x)是x的标量函数， f(x)的期望定义如下： 对连续变量x， 对离散变量x， 返回 标量函数的方差 设x是密度分布为p(x)的连续随机变量或概率分布为P(x)的离散随机变量，f(x)是x的标量函数， f(x)的方差定义如下： 对连续变量x， 对离散变量x， 返回 正态分布下的判别函数 解决的基本问题 正态分布的数学描述 正态分布下的最小错误率判别函数 正态分布下的判别函数举例 正态分布下的错误率估计 返回 解决的基本问题 在最小错误率Bayes决策中，需要用到先验概率P(?i)和类条件概率密度p(X|?i) 。 通常不知道类条件概率密度的数学形式。由于大量的随机变量都服从或近似地服从正态分布，因此可以假定它为正态分布。 如何在正态分布的条件下进行最小错误率Bayes决策是这里要解决的基本问题。 返回 正态分布的数学描述 正态分布又称高斯分布 一维正态密度、期望和方差 一维正态分布的特点 一维正态分布的熵 多维正态密度、期望和方差 多维正态分布的特点 返回 一维正态密度、期望和方差 一维正态密度函数为： 均值为： 方差为： 返回 一维正态分布的特点 一维正态分布可由均值?和方差?2完全决定，通常可简化表示为p(x)~N(?,?2)。 样本集中在均值附近，其分散的程度正比于方差的平方根。从正态总体中抽取的样本中有95.44%落在区间 中。 一维正态分布示意图 返回 一维正态分布示意图 峰值为 。 返回 一维正态分布的熵 一种分布p(x)的熵定义为: 熵是一个非负量，用来描述随机选取的样本点的不确定性，单位为奈特。如果用log2代替ln，则单位为比特。 正态分布在所有具有给定均值和方差的分布中具有最大熵。 返回 多维正态分布的密度 多维正态分布密度可以表示为： 其中X是d维向量，?是d维均值向量，?是d?d协方差矩阵，(X??)T是(X??)的转置，??1是?的逆矩阵，|?|是?的行列式。 返回 多维正态分布的期望和方差 通常把多维正态分布写成p(X)~N(?,?)，其中均值向量为： 协方差矩阵为： 返回 多维正态分布的特点 均值向量分量的特点 协方差矩阵元素的特点 多维正态分布的独立参数个数 多维正态分布的样本特点 正态分布的线性组合和线性变换 返回 均值向量分量的特点 若xi是X的第i个分量，?i是?的第i个分量，那么 ?i=E(xi) 返回 协方差矩阵元素的特点 若xi是X的第i个分量，?ij是协方差矩阵?的第i行第j列的元素，则有： ?ij =E[(xi ??i) (xj ??j)] 如果xi和xj统计独立，则?ij=0。如果所有非对角元素均为零，则p(X)就变成X的各个分量的单变量正态密度分布的乘积。 这里限定?是正定的，从而确保|?|0