上次课程信道疑义度平均互信息-Read.PDF

上次课程 信道的数学模型和分类 •无干扰信道 •有干扰无记忆信道 •有干扰有记忆信道 信道的数学模型可以用概率空间[X, p(y /x) ,Y]描述 二元对称信道(BSC) 二元删除信道(BEC) 信道疑义度 1 H ( X |Y ) E [H ( X / bj )] ∑p (xy ) log X ,Y p (x | y ) 平均互信息 p (x | y ) I (X ;Y ) ∑∑p (x y )log i j j i i j p (x ) i 平均互信息与各类熵的关系 I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(Y) - H(Y|X) I(X;Y) = H(Y) - H(Y|X) 信道疑义度（损失熵） 信道疑义度（损失熵） ，信源符号通过有噪信 I(X;Y) = H(X)+H(Y)-H(XY) ，信源符号通过有噪信 I(X;Y) = H(X)+H(Y)-H(XY) 道传输后所引起的信息 道传输后所引起的信息 其中： 量的损失。 其中： 量的损失。 1 1 H (X )＝∑p (x) log ; H (Y)＝∑p (y ) log X p (x) Y p (y ) 1 1 H X Y ＝ p xy ; H (Y | X )＝ p (xy)log ( | ) ∑ ( )log ∑ X ,Y p (x | y ) X ,Y p (y | x) 1 H (XY )＝ p (xy ) log 噪声熵(或散布度) ∑ 噪声熵(或散布度) X ,Y p (xy )