第3专题聊城大学.pptVIP

单符号离散信道的输入变量为X，取值于 输出变量为Y，取值于 。 并有条件概率 条件概率被称为信道的传递概率或转移概率。 一般简单的单符号离散信道的数学模型可以用概率空间[X,p(y|x),Y]来描述。 它们都是由于噪声干扰的存在而存在的。信道中存在噪声干扰，是减低信道传信能力的基本原因。 因此不难证明: H(XY) = H(X) = H(Y), H(X|Y) = H(Y|X) = 0 在这种无干扰信道中，对应于输入符号有唯一的接收符号，接收端的平均不确定程度和发送端的平均不确定程度相同； 在这种信道中，信息被无损地传输，故又称为“无损信道”； 这种信道的输入和输出符号没有关系，Y 知道后关于 X 的不确定性 H(X|Y) 和没有 Y 时的不确定性 H(X) 完全一样，信息无法传输，称为“全损信道”； 各种熵之间的关系 4、平均互信息的凸状性 平均互信息量的数学特性 定理3.1 平均互信息I(X;Y)是信源概率分布P(X)的 型凸函数 定理3.2 平均互信息I(X;Y)信道传递概率分布P(Y/X)的 U型凸函数 平均互信息量的数学特性 平均互信息量是p(xi)和p(yj /xi)的函数，即I(X;Y)=f [p(xi), p(yj /xi)]； 若固定信道，调整信源，则平均互信息量I(X;Y)是p(xi