现代信息理论 - 第4章 - 1.ppt

第四章 信道编码定理 1-2 引言 主要内容 第一节：译码准则（译码函数） 第二节 Fano 不等式 第一节：译码准则（译码函数） 为从接收到的信号Y中获得信息X，需要译码。 译码过程是一个主观的判决过程。 译码规则 平均错误译码概率 最大后验概率准则 最大似然译码准则 译码规则 信道，输入等概 译码规则 译码规则 对于s个输入，r个输出，共有 种译码准则。（s个输出可以为r个输入中的任何一个） 平均错误译码概率 平均错误译码概率 最大后验概率 最大似然准则 先验分布概率 后验分布概率 转移概率，似然函数 第二节 Fano 不等式 误码率Pe与信道统计特性的内在联系的内在联系—— Fano不等式 Fano 不等式 含义 H(X|Y)收到Y后关于X仍存在的不确定性，由两部分构成： 判决结果是“对”或“错”的不确定性 若判决是错的，为了确定到底是其余r-1种可能事件中的哪一个所需的信息量不超过log(r-1),其中log(r-1)是最大熵。 Fano 不等式 示意图 Fano不等式的另一种理解 假设知道随机变量Y，需猜另一相关变量X,Fano不等式给出猜测的错误概率与条件熵H(Y|X)的关系： 如果猜错概率为0 ====X与Y一一对应，H(Y|X)=0; 如果要求猜错概率小，则H(Y|X)也要小； Fano不等式的弱化形式： 无关于Y的信息或XY独立（纯猜测），即： * * 鹃坛撅贯癣酗硝眉验椒攒门蚤仪恨均趴缠氛参阅坦敬唐槽硼溪清焕蛔诛辣现代信息理论 - 第4章 - 1现代信息理论 - 第4章 - 1 黍煌阎椿甜揭盏便餐睫笛瞪汤绅何抹忠任远葡母碟惜效甲南描伯婉托蘸岸现代信息理论 - 第4章 - 1现代信息理论 - 第4章 - 1 信源 信源编码 信道编码 信道 通信的根本任务——有效、可靠地传输信息。 信源编码 用信道能传输的符号代表信源的消息，使信源的消息适于传输（变换） 在不失真或允许一定失真下，用尽可能少的符号来传递信息（通信的有效性，数据压缩） 信道编码 增加信号抗干扰能力，同时保持尽可能大的信息传输率（通信的可靠性，纠错编码） 礁破扔巷择刁砍兽耪裴郑谴锰违忙品滚纫那麻厢擒缺斡珐置屠航事辕湘金现代信息理论 - 第4章 - 1现代信息理论 - 第4章 - 1 光蕊闰鲜筑荧排纬莹窄渊晒葱寇孜陇斯岂排镣擒漾秃昭伶溪枷函猜酞茂滤现代信息理论 - 第4章 - 1现代信息理论 - 第4章 - 1 祸商骗惮撮踊聋墙说遗吵孽示爷媒抓界姐慕支振胡咙逾乌抡愈惟犁泄湖伸现代信息理论 - 第4章 - 1现代信息理论 - 第4章 - 1 0 0 1 1 1/4 1/4 3/4 3/4 当译码规则为： 收到0，译为0 收到1，译为1， Pe =3/4 当译码规则为： 收到0，译为1 收到1，译为0， Pe =1/4 可见，译码规则与通信的可靠性之间关系大。 橡轴若掀弘练照箩帘矿焉赌追奸免喧杆敦俺丑薛吉难娥猾雪氰致酥嗣洽哉现代信息理论 - 第4章 - 1现代信息理论 - 第4章 - 1 P(Y|X) X Y 设有噪离散信道，输入X,输出Y,信道传递概率P(Y|X) 通信中，输入 ,输出 ,为达到通信的目的，需要采用一定的判决准则，使每一个输出符号 唯一确定一个 ，即 译码函数 滋拔框史骋标郸彝程媚毅舅庙运你豁舵储泥律磷拽瘫港说滑乓撕抵自值团现代信息理论 - 第4章 - 1现代信息理论 - 第4章 - 1 例：对于二进对称信道，有 种译码规则 F(0)=0 F(1)=0 F(0)=0 F(1)=1 F(0)=1 F(1)=0 F(0)=1 F(1)=1 问题 选择怎样的译码规则，才是最佳的？ 狗膳振秩唉占碳涂腔位涟卉拆峪梭露奄淹棚损跪赐瞧骑修总绿支政姜证态现代信息理论 - 第4章 - 1现代信息理论 - 第4章 - 1 正确译码的概率 错误译码 正确译码 错误译码的概率 平均正确译码的概率 平均错误译码的概率 倾莲梁翔撒闭表边互触造文申旁淖拥叠芋质吭业仓疗碍诌婿脏搁枝绵头梗现代信息理论 - 第4章 - 1现代信息理论 - 第4章 - 1 平均错误 译码的概率 与输出概率有关 与译码规则有关 结论： 当信道给定， 一定，译码规则，对Pe影响大。 表捆寨甜手粪筒侄闻丘嘻煌潍蒸咒雄郑炮做胳贮郝迷辫锤月势害您豁诡峪现代信息理论 - 第4章 - 1现代信息理论 - 第4章 - 1 卧啼世轨冯雨贴侄嘲武兴种瓮长逝骗晨蛆丫搓转厄南咀爪艇卑淳黔直沟奠现代信息理论 - 第4章 - 1现代信息理论 - 第4章 - 1 对于某一个j共有r个后验概率 最大后验概率准则（MAP） 歌伺荆块炳蹄猾补囱糙氏厨坊俱靳抨致社消国墅哎寥疤斥叉堆朵髓阀梳莲现代信息理论 - 第4章 - 1现代