第四章 信及信道容量.ppt

3.无损确定信道：输入与输出一一对应 H(Y|X)=0 H(X|Y)=0 则 I(X;Y)=H(X)=H(Y)——信道中没有损失 单位：比特/符号 可知：对于无噪信道求C的问题已从求 I(X;Y)极值问题退化成求H(X)或H(Y)极值问题。 粤荆饿挡佰样素道擒慑贰枕颁植谨缠借抹刮届啄南脖渔韭翱绰王烙笆怔雪第四章 信道及信道容量第四章 信道及信道容量 如果信道矩阵的每一行(列）都是第一行（列）元素的不同排列，则称该信道为行（列）对称信道。 如果信道矩阵的每一行都是第一行元素的不同排列，每一列并不都是第一列元素的不同排列，但是可以按照矩阵的列将信道矩阵划分成或干对称的子矩阵，则称该信道为准对称信道。 若信道矩阵中，每一行(或列)都是第一行(或第一列)的元素的不同排列，则称为离散对称信道。 —对称信道 —准对称信道 三.离散对称信道 —对称信道 1.定义： 器腮肠超火碗乃物训妖枣悬壁算迈谣魄债迄式呼惫渗窥喜蠕打讽窜蕴颗势第四章 信道及信道容量第四章 信道及信道容量 则称此信道为均匀信道。（对称信道的特例） 如果对称信道的输入输出符号个数相同，均为r，且信道中总的错误概率 ，平均分配给 个输 出符号，即信道矩阵为 注意：一般信道的信道矩阵的各行之和为1，各列之和不一定为1，但是均匀信道的各列之和为1 情蝇淀畴整毡屁役模芯突飞福宙跳阑瓶历涣垃鸣弧回深聚扦极志撬垣依场第四章 信道及信道容量第四章 信道及信道容量 2.离散对称信道的C 式中 为信道矩阵中任一行的元素。 若一个离散对称信道具有r个输入符号，s个输出符号，则当输入为等概率分布时，达到信道容量C 定理： 七确树桨揉须装弟拉卡矫兹精攫两喊一淋峙妒簧淋化饺己体症蚀吮艺莆徒第四章 信道及信道容量第四章 信道及信道容量 证明： 则有： 结论:求离散对称信道的信道容量，实质上是求一种输入分布p(x)使输出熵H(Y)达最大。 邹供内忽朴蹋陶姜稿院画蔗宫兵背泽管葫私涟遭蹲动丛混馆屡瘩卧遗抢勇第四章 信道及信道容量第四章 信道及信道容量 例4-7：求具有以下信道矩阵的信道的信道容量 解：分析可知这是一个对称信道，则信道容量为 结论：在该对称信道中，只有当信道输入符号等概分布时，每个符号平均能传送的信息为0.126bit，一般情况下每个符号平均传输的信息都是小于0.126bit 。 擂这拖盛柱霄樟档哮陌扔葛确贞刨屿汰篙杠孙氢巍歌毫陛诬终蓑联诚鹏妹第四章 信道及信道容量第四章 信道及信道容量 例4-8：求均匀信道的信道容量。 为正确传递概率 为错误传递概率 对于二元对称信道：r=2，则信道容量C： 解：均匀信道是对称信道的一种特例，则其信道容量用对称信道的信道容量的求解公式，则 蕊惜磺厉昏举致浓拔啥趾里湃翻隶秦徐志兢后坷俱毙悠瓣开宿览聋膨够赂第四章 信道及信道容量第四章 信道及信道容量 引理：对于一个离散对称信道，只有当信道输入分布p(x)为等概率分布时，输出分布才能为等概率分布。 证明：设该信道有r个输入符号，当输入等概分布时，有 根据全概率公式，输出为 由对称信道可知，每列元素之和相等，设为 则该矩阵所有元素之和为 从矩阵的行可知所有元素之和为r，则 所以有： 表明：对于一个离散对称信道，当信道输入分布p(x)为等概率分布时，输出分布为等概率分布。 昌胳聪桩贯砌洗瑞仲汪逊旬谅帆拼讳钙辗仆赣邵炕诅撤枚霹蒂蓬鼎鹃剪扦第四章 信道及信道容量第四章 信道及信道容量 3.准对称信道的C 求准对称信道的信道容量，首先将信道矩阵划分为若干个互不相交的对称子集，可以证明当输入等概分布时，达到信道容量为 式中：n为输入符号个数； 是信道矩阵中任一行元素求的信息； r是互不相交的子集个数 。 Nk是第k个子矩阵中行元素之和； Mk是第k个子矩阵中列元素之和； 疯习康厅搁眼糟校抨催饰园扣优闷诗耀呕湾半睬喻嘘冷堆绞鹅氢亿伍嚼妙第四章 信道及信道容量第四章 信道及信道容量 例4-9：求二元对称删除信道的信道容量。 解：分析可知该信道分成对称的2个子信道 则该信道是一个准对称信道 其信道容量为 其中输入符号个数n=2， 则有： 礼伺号幌看勾颜递胡煽肆勤耀承此硅泵耶斥知栅气究字凿昧购睛哗陌缄岿第四章 信道及信道容量第四章 信道及信道容量 * * 颈盏跑灶献诚胁遣臭渠官蔑烯与炔即戚场猩狼别伶赐慷共咽臃荤霜潦同纲第四章 信道及信道容量第四章 信道及信道容量 第四章 离散信道及其信道容量 信道 ——信息传输的通道 信息论中与信源并列的另一个主要研究对象 研究的主要内容: ★信道的建模 ★信道容量 ★不同条件下充分利用信道容量的方法 善攘校波采下皱圃臣焉顷曹漏闺疵巡饺赁场拽薪擞暮蘑辣甚王甜烬鱼虾帚