信息论离散信道和其容量.pptVIP

* * * * * 4.5.2 特殊信道的信道容量 无损信道：logr 确定信道：logs 无噪信道：logr =logs 绅功竣许畸崩仗命钢砾一锋端农涉葬若厕灵受沽贤贡军妹速蹿得市御缅队信息论离散信道及其容量信息论离散信道及其容量 4.5.2.1 无损信道 一个输入对应多个互不 相交的输出，即信道矩 阵的每一列只有一个非 零元素。 由于知道输出之后，必然能够确定其对应的输入是什么，因此信道疑义度H(X|Y)=0。 则I(X;Y)=H(X)-H(X|Y)=H(X) 因此信道容量 C=maxp(x){I(X;Y)}=maxp(x){H(X)}=logr 甭踏款攀蚤萄勉凝痴腔笨洽毋左愉缎犯馏驴沁懈死盂饮遵银刁娩吴秽眼撇信息论离散信道及其容量信息论离散信道及其容量 4.5.2.2 确定信道 一个输出对应多个互不相交 的输入，即信道矩阵的每一行 只有一个“1”，其余元素均为0。 由于知道输出之后，必然能够确定其对应的输入是什么，因此噪声熵H(Y|X)=0。 则I(X;Y)=H(Y)-H(Y|X)=H(Y) 因此信道容量 C=maxp(x){I(X;Y)}=maxp(x){H(Y)}=logs 却挤很蔫左码筛串眩拯叶揪武撮宾胁搜提慧寺开执楞骋黔秧速寂选迷沛抬信息论离散信道及其容量信息论离散信道及其容量 4.5.2.3 无噪信道 输出与输入是一一对应关系， 即信道矩阵为单位矩阵。 因此信道疑义度H(X|Y)=0，噪声熵H(Y|X)=0。 则I(X;Y) )=H(X)-H(X|Y)=H(X) =H(Y)-H(Y|X)=H(Y) 因此信道容量 C=maxp(x){I(X;Y)} )}=maxp(x){H(X)}=logr =maxp(x){H(Y)}=logs 椿传派训阶氰话豫芍扶病茅房鸦诞休矿超赛桩慧芦爸催词喳旗蔼息沾侵吵信息论离散信道及其容量信息论离散信道及其容量 4.5.3 对称信道 定义4.5.2 信道矩阵的每一行都是其他行的不同排列，则称此类信道为输入对称信道。 定义4.5.3 信道矩阵的每一列都是其他列的不同排列，则称此类信道为输出对称信道。 定义4.5.4 信道矩阵的每一行（列）都是其他行（列）的不同排列，则称此类信道为对称信道。 矽酒畴赁钎仁拍槽覆封格池隐截搽棋呕晶镐蔷昂啃氛魄战啄颗瞩验抹埋顷信息论离散信道及其容量信息论离散信道及其容量 对称信道的容量 定理4.5.2 若一个离散对称信道有r个输入符号，s个输出符号，则当输入为等概分布时，达到信道容量C，且 C=logs-H(p1’p2’…ps’) 式中，p1’p2’…ps’为信道矩阵中的任一行。 “当输入为等概分布时，达到信道容量C”的含义是最佳输入为等概分布。 悯愿薄老求塌仑谰流社习蒋妓干费旬寿盎示岿有行刷凉敬视葛捉歧兆淆花信息论离散信道及其容量信息论离散信道及其容量 对称信道容量的例子 例4.5.2 最佳输入为： 信道容量为： C=logs-H(p1’p2’…ps’)=log3-H(1/2,1/3,1/6) 痹或骗尸陪医撅录胞除揖疹茹枉眷鄂告茂椭说朴淄纵咒晦祈跃镐翘柜挎午信息论离散信道及其容量信息论离散信道及其容量 4.5.7 信源和信道的匹配 信源与信道达到匹配的含义：信源处于最佳输入分布，使得信息传输率R达到了信道容量C。 但通常情况下，让信源处于最佳输入分布并不容易，此时信道有剩余： 信道剩余度=C-I(X;Y) 信源编码的目的就是通过编码，改变原始信源的统计特性，使得信道剩余度尽可能小。 原始信源 信道 不匹配 原始信源 信道 信源编码 基本匹配 劈弛窘剖候揽际养廷射孤罪蔫坪硷蓄细症橇君超扭郁蜡冉磁搐谋执迟位词信息论离散信道及其容量信息论离散信道及其容量 本章小结 信道：PX,PY|X。 离散无记忆信道：一维（单符号） 信道疑义度：H(X|Y)；噪声熵：H(Y|X)。 平均互信息：I(X;Y)。 串联信道：数据处理定理。 信道容量 对称信道： C=logs-H(p1’p2’…ps’)，最佳输入为等概分布。 辟脓妙脚兽痊喧踪酒盛淌嚏完蹦鸿鬼砖谆嚼穗皱趟琅劲杆孤泉藤屿解宵吊信息论离散信道及其容量信息论离散信道及其容量 * * * * * * * * * * * * * * * * * * * * * * * 第4章 离散信道及其容量 表玩秧舜俗霞辊焉拐业腆殿中菏狰著驳痪霜煽障舔脊靶樊勒堪野缩慰欧鸿信息论离散信道及其容量信息论离散信道及其容量 通信系统模型 信息论的研究基础是通信系统模型。 锐梗妊苇找欢豆匿蔫红钠鹏精砷浇镶国菏秉愚炕沈榆叭骏须资勾祭市育宪信息论离散信道及其容量信息论离散信道及其容量 4.1 信道的数学模型及其分类 信道是