第三章信道及其容量.pptVIP

关于平均互信息 I(X ; Y) 互信息 I( x ; y ) 代表收到某消息 y 后获得关于某事件 x 的 信息量。 它可取正值，也可取负值。 若互信息 I( x ; y )0 ，说明在未收到信息量 y 以前对消息 x 是否出现的不确定性较小，但由于噪声的存在，接收到消 息 y 后，反而对 x 是否出现的不确定程度增加了。 I(X;Y) 是 I ( x ; y ) 的统计平均 ，所以 I(X ; Y) = 0 。 若 I(X ; Y) = 0 ，表示在信道输出端接收到输出符号 Y 后不 获得任何关于输入符号 X 的信息量 ---- 全损信道 。 平均互信息与各类熵的关系 I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(Y) - H(Y|X) I(X;Y) = H(X)+H(Y)-H(XY) 其中： 1 H ( X ) ＝ ? p ( x ) log ; p ( x ) X 1 H ( Y ) ＝ ? p ( y ) log p ( y ) Y 1 1 H ( X | Y ) ＝ ? p ( xy ) log ; H ( Y | X ) ＝ ? p ( xy ) log p ( x | y ) p ( y | x ) X , Y X , Y 1 H ( XY ) ＝ ? p ( xy ) log p ( xy ) X , Y 平均互信息与各类熵之间关系的集合图 （维拉图） 表示： H(X|Y) = H(X) - I(X ; Y) H(Y|X) = H(Y) - I(X ; Y) H(XY) = H(X)+H(Y)- I(X ; Y) H(XY) H(X/Y) H(Y/X) H(X) I(X;Y) H(Y) 图中，左边的圆代表随机 变量 X 的熵，右边的圆代 表随机变量 Y 的熵，两个 圆重叠部分是平均互信息 I(X ; Y) 。每个圆减去 I(X ; Y) 后剩余的部分代表 两个疑义度。 ? 两种特殊信道 （ 1 ）、离散无干扰信道 ( 无损信道 ) ? 1 i ? j p ( y j | x i ) ? ? ? 0 i ? j y ? f ( x ) y ? f ( x ) ? 1 i ? j p ( x i | y j ) ? ? ? 0 i ? j y ? f ( x ) y ? f ( x ) ? 信道的输入和输出一一对应，信息无损失地传输， 称为 无损信道 。 ? H(X|Y) = H(Y|X) = 0 [ 损失熵和噪声熵都为“ 0” ] ? 由于噪声熵等于零，因此，输出端接收的信息就等 于平均互信息 : I(X;Y) = H(X) = H(Y) （ 2 ）、输入输出独立信道 ( 全损信道 ) ? 信道输入端 X 与输出端 Y 完全统计独立 p ( y | x ) ? P ( y ) ? x ? X ? ? y ? Y p ( x | y ) ? P ( x ) ? x ? X ? ? y ? Y ? ? H(X|Y) = H(X) , H(Y|X) = H(Y) 所以 I(X;Y) = 0 [I(X;Y) = H(X) - H(X|Y)] ? 信道的输入和输出没有依赖关系，信息无法传输， 称为 全损信道 。 ? 接收到 Y 后不可能消除有关输入端 X 的任何不确定 性，所以获得的信息量等于零。同样，也不能从 X 中获得 任何关于 Y 的信息量。 ? 平均互信息 I(X ; Y) 等于零，表明了 信道两端随机变 量的统计约束程度等于零 。 二种极限信道各类熵与平均互信息之间的关系 无损信道： H(X|Y)=H(Y|X)=0 I(X;Y)=H(X)=H(Y) 无损信道：完全重迭 全损信道： H(X|Y) = H(X) H(Y|X) = H(Y) I(X;Y) = 0 全损信道：完全独立 3.2 平均互信息的性质 平均互信息 I (X ; Y) 具有以下特性： （ 1 ）非负性 即 I (X ; Y) = 0 当 X 、 Y 统计独立时等式成立。 （ 2 ）极值性 即 I (X ; Y) = H(X) 当 H(X/Y)=0 时，即信道中传输信息无损时，等式 成立。 （ 3 ）交互性（对称性） 即 I (X;Y) = I (Y;X) 当 X 、 Y 统计独立时 I (X;Y) = I (Y;X)=0 当信道无干扰时 ( 一一对应 ) I (X;Y) = I (Y;X)=H(X)=H(Y) （ 4 ）凸状性 P ( y | x ) P ( y | x ) I ( X ; Y ) ? I ( Y ; X ) ? ? P ( xy )log ? ? P ( x ) P ( y | x )