第2章-离散信源及其信息测度.pptVIP

2021/3/26 * 关于平均互信息I(X;Y) 互信息 I(x ; y) 代表收到某消息y后获得关于某事件x的信息量。它可取正值,也可取负值。 若互信息I(x ; y)0,说明在未收到信息量y以前对消息x是否出现的不确定性较小,但由于噪声的存在，接收到消息y后，反而对x是否出现的不确定程度增加了。 I(X;Y)是I (x ; y)的统计平均，所以I(X;Y) = 0。 若I(X;Y) = 0，表示在信道输出端接收到输出符号Y后不获得任何关于输入符号X的信息量----全损信道。 2021/3/26 * I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(Y) - H(Y|X) I(X;Y) = H(X)+H(Y)-H(XY) 其中: 平均互信息与各类熵的关系 2021/3/26 * 平均互信息与各类熵之间关系的集合图（维拉图）表示: H(X|Y) = H(X) - I(X;Y) H(Y|X) = H(Y) - I(X;Y) H(XY) = H(X)+H(Y)- I(X;Y) H(X) H(Y) H(X/Y) H(Y/X) I(X;Y) H(XY) 图中,左边的圆代表随机变量X的熵,右边的圆代表随机变量Y的熵,两个圆重叠部分是平均互信息I(X;Y)。每个圆减去I(X;Y)后剩余的部分代表两个疑义度。 2021/3/26 * 两种特殊信道 （1）离散无干扰信道 ( 无损信道 ) 信道的输入和输出一一对应,信息无损失地传输,称为无损信道。 H(X|Y) = H(Y|X) = 0 [损失熵和噪声熵都为“0” ] 由于噪声熵等于零,因此，输出端接收的信息就等于平均互信息: I(X;Y) = H(X) = H(Y) 2021/3/26 * （2）输入输出独立信道 ( 全损信道 ) 信道输入端X与输出端Y完全统计独立 H(X|Y) = H(X) , H(Y|X) = H(Y) 所以 I(X;Y) = 0 [I(X;Y) = H(X) - H(X|Y)] 信道的输入和输出没有依赖关系,信息无法传输,称为全损信道。 接收到Y后不可能消除有关输入端X的任何不确定性,所以获得的信息量等于零。同样，也不能从X中获得任何关于Y的信息量。 平均互信息I(X;Y)等于零，表明了信道两端随机变量的统计约束程度等于零。 2021/3/26 * 二种极限信道各类熵与平均互信息之间的关系 H(X|Y) = H(X) H(Y|X) = H(Y) I(X;Y) = 0 H(X|Y)=H(Y|X)=0 I(X;Y)=H(X)=H(Y) 无损信道:完全重迭 全损信道:完全独立 无损信道: 全损信道: 2021/3/26 * 平均互信息的性质 平均互信息 I(X;Y) 具有以下特性: （1）非负性 即 I(X;Y) = 0 当X、Y统计独立时等式成立。 （2）极值性 即 I(X;Y) = H(X) 当 H(X/Y)=0 时,即信道中传输信息无损时,等式成立。 2021/3/26 * （3）交互性（对称性） 即 I(X;Y) = I(Y;X) 当 X、Y统计独立时 I(X;Y) = I(Y;X)=0 当信道无干扰时 I(X;Y) = I(Y;X)=H(X)=H(Y) 2021/3/26 * （4）凸状性 所以,平均互信息I(X;Y)只是信源X的概率分布P(x)和信道的传递概率P(y/x)的函数,即: I(X;Y) = f [P(x), P(y|x)] 2021/3/26 * 平均互信息I(X;Y)是输入信源的概率分布P(x)的∩型凸函数。 （1）对固定信道,选择不同的信源(其概率分布不同)与信道连接,在信道输出端接收到每个符号后获得的信息量是不同的。 （2）对于每一个固定信道,一定存在有一种信源(某一种概率分布P(x))，使输出端获得的平均信息量为最大。 2021/3/26 * 平均互信息I(X;Y)是信