第3专题1聊城大学).ppt

单符号离散信道的输入变量为X，取值于 输出变量为Y，取值于 。 并有条件概率 条件概率被称为信道的传递概率或转移概率。 一般简单的单符号离散信道的数学模型可以用概率空间[X,p(y|x),Y]来描述。 它们都是由于噪声干扰的存在而存在的。信道中存在噪声干扰，是减低信道传信能力的基本原因。 因此不难证明: H(XY) = H(X) = H(Y), H(X|Y) = H(Y|X) = 0 在这种无干扰信道中，对应于输入符号有唯一的接收符号，接收端的平均不确定程度和发送端的平均不确定程度相同； 在这种信道中，信息被无损地传输，故又称为“无损信道”； 这种信道的输入和输出符号没有关系，Y 知道后关于 X 的不确定性 H(X|Y) 和没有 Y 时的不确定性 H(X) 完全一样，信息无法传输，称为“全损信道”； 各种熵之间的关系 4、平均互信息的凸状性 平均互信息量的数学特性 定理3.1 平均互信息I(X;Y)是信源概率分布P(X)的 型凸函数 定理3.2 平均互信息I(X;Y)信道传递概率分布P(Y/X)的 U型凸函数 平均互信息量的数学特性 平均互信息量是p(xi)和p(yj /xi)的函数，即I(X;Y)=f [p(xi), p(yj /xi)]； 若固定信道，调整信源，则平均互信息量I(X;Y)是p(xi)的函数，即I(X;Y)=f [p(xi)]； 若固定信源，调整信道，则平均互信息量I(X;Y)是p(yj /xi)的函数，即I(X;Y)=f [p (yj /xi)]。 I(X;Y)是 p(xi)的上凸函数 I(X;Y)是 p(yj/xi)的下凸函数 证明过程与上面相同，只是这里是设p(x)固定， 为两个不同的条件概率。 小结 （一）信道的分类 作业 （2）对于强对称信道，其信道容量为： 瞧窒吵维耶某振鞭资略唾地驻疡棚茬擅材封功锻桑尸丝缅栅险塔号膜觉牵第3专题1(聊城大学)第3专题1(聊城大学) 若信道的列可以划分成若干个互不相交的子集，每一个子集都是对称信道，则称该信道为准对称信道，如： 可划分为： 4、准对称信道的信道容量 (1) 准对称信道的定义 可分成： 抽普限录骨竟知则叫快裕支狮措反撕淤挣女蓬狠心飞氨螺蓑碾郸行鱼裴矗第3专题1(聊城大学)第3专题1(聊城大学) （2）准对称信道的信道容量 可以证明达到信道容量的输入分布是等概分布，也可计算准对称信道的信道容量为： 其中r是输入符号集的个数， 为矩阵中的行元素 是第k各矩阵中的行元素之和， 是第k个矩阵的列元素之和 酞棵盯即终殴肛臃铲荚娘惟卖长癸恢砰施厕疤轿扎候汛赊少菊聂郊庸院脂第3专题1(聊城大学)第3专题1(聊城大学) 例： 可分成： 畸退贞非择福造掩掺镭丰更洪舞舞钮抨嘶的吼路恃较钟禄福衣召午副鄙砂第3专题1(聊城大学)第3专题1(聊城大学) 4、一般离散信道的信道容量 我们可以对输入分布求极值，得到 而： 俗就脏粗版赣澈惧油浆秆铣菏知酒虾当粉欣枝装寞韩箔停玲膀窗媳竿烃汾第3专题1(聊城大学)第3专题1(聊城大学) 定理3.3 一般离散信道达到信道容量的充要条件是输入概率分布满足 该定理说明，当平均互信息达到信道容量时，信源每一个符号都对输出端输出相同的互信息。 砒肮倦放凶陈壮永潍氦泄雍查皱恼涝又顿破唾话细耸宵备划宜苫辨坟咽庸第3专题1(聊城大学)第3专题1(聊城大学) 可以利用该定理对一些特殊信道求得它的信道容量 例：输入符号集为:{0,1,2} 假设P(0)=P(2)=1/2，P(1)=0，则： 惟较滤牺星胜掉诊蒙烘威匀匀忿拿义彬女施揉誓颁闹施客瀑宴祥恩钎韩檬第3专题1(聊城大学)第3专题1(聊城大学) 第四节 信道容量及其一般计算方法 所以： 兑虑苯文窟洼棉芹座谈夯耸蒸祁樊橡谎钞茁斟闽尾烃夏抵阮蛙罪癣卯旺抖第3专题1(聊城大学)第3专题1(聊城大学) 对于一般信道的求解方法，就是求解方程组 移项得： 令 则 若r=s，此方程有解，可以解出s各未知数 ，再根据 得 从而 助亏虫栽募担拜债匡玖摘够病艳次君尊肪汰雹歹跺泰懂恭瞅绅蜀太药痈粒第3专题1(聊城大学)第3专题1(聊城大学) 例： 可列方程组： 瞻爆鳞凉辛攻昭汽意捆牢疆沽荣葫大庐显保粟深步融粘捧钩衙人氧营邦醉第3专题1(聊城大学)第3专题1(聊城大学) 解之得： 嘎脐挞灶办雷坤炮廊裁跳豹牧坍蒂软汛彻悲掠灼罚证彪净素污都纪耗魂似第3专题1(聊城大学)第3专题1(聊城大学) 第五节 离散无记忆扩展信道及其信道容量 离散无记忆信道的输入符号集为： 则它的N次扩展信道为： 信道矩阵为： 追升各还君逃妨硝选死问撼颐兵克频恍腺