信息编码期末复习.pptVIP

单击此处添加大标题内容强对称信道的两项重要特征：其输入消息与输出消息相等，均为n个，即m=n。且信道中总的误差概率ε＝Pe,它将ε平均分配给(n-1)个传输的错误。信道转移概率矩阵中的每一行都是第一行的重排列，即信道对输入是对称的；每一列都是第一列的重排列，即信道对输出也是对称的。条件②就对称而言，比条件①更加本质，更加重要。若放弃条件①，保留条件②，我们就可以得到一般性的对称信道。二、对称信道对这类一般对称信道有如下定理：1定理3-4-1：对于单个消息离散对称信道，当且仅当信道输入输出均为等概率分布时，信道达到容量值。2结论：对于离散单个消息对称信道，C为最佳输入分布时的最大输出熵。根据最大熵定理，输出分布为等概率时其熵最大。同时由于信道的对称性，此时输入的最佳分布必然为等概率分布。01对称信道不要求输入分布和输出分布相同，而只要求各自为等概率分布。显然，强对称信道是对称信道的特例。02三、准对称信道显然子阵P1,P2满足可排列性（行，列）假如我们再将条件放松一些，比如信道的输出集合可以划分为若干个不相等的且具有对称信道性质的子集合。定理3-4-2：对于单消息、离散、准对称信道，当且仅当信道输入为等概率分布时，信道达容量值:信道容量代价函数信道冗余度第4章信息与通信系统的优化系统优化的实质研究系统在不同优化指标下，两类参量（主、客观）之间的统计匹配与匹配的条件。对无失真信源系统传输最有效优化的目标对限失真信源系统传输最可靠系统传输最安全以上三个指标、四个方面所讨论的系统优化就构成了最著名的C.E.Shannon三个编码定理与一个密码学基本定理。无失真信源编码定理：在无失真条件下实现通信系统与信源统计特性相匹配：反之，当RH(U)时，最优信源编、译码(f1,g1)不存在。当系统中传信率RH(U)(信源熵)时，最优的信源编、译码(f1,g1)存在；Shannon编码第一定理1反之，当RC时，最优信道编、译码(f3,g3)不存在。32当RC时，最优信道编、译码(f3,g3)存在；信道编码定理：在平均误差准则条件下，实现通信系统与信道统计特性相匹配；Shannon编码第二定理信道编码定理：在平均误差准则条件下，实现通信系统与信道统计特性相匹配；01当R＞R(D)时，最优的限失真信源编、译码(f’1,g’1)存在；02反之，当R＜R(D)时，最优的限失真信源编、译码(f’1,g’1)不存在。03Shannon编码第三定理对掌握密钥的信宿V，通过最优化的加、解密码(f2,g2)，使R=I(U,V)=H(U);反之，对不掌握密钥的信宿V’，几乎找不到最优化的加、解密码(f2,g‘2)，所以R’=I(U,V‘)＝0密码学基本定理第五章信源编码离散信源的无失真编码实质上是一种统计匹配编码。信息论指出信源中的统计多余度主要决定于以下两个主要因素：一是消息概率分布的非均匀性，另一个是消息间的相关性。对无记忆信源主要决定于概率分布的非均匀性，但是，对于有记忆信源，两者都起作用，且后者相关性更加重要。5.1无失真信源编码熵函数H(U)为pi=p(ui)的上凸函数当f(x)为下凸函数时：定理1-2-3：熵函数的上凸性詹森（Jenson）不等式当f(x)为上凸函数时：1.3.离散序列信源的熵（熵的可加性）序列熵H(U)离散无记忆信源的序列熵与消息熵（对平稳信源）平均每个消息的熵——消息熵HL(U)离散序列信源的消息熵HL(U)等于单符号离散信源的熵定理1-3-1：证明：香农不等式含义：熵不会因为附加条件的增加而有所增加。即，无条件熵大于等于有条件熵。离散有记忆信源的序列熵与消息熵定理1-3-3对离散、平稳、有记忆信源，下列结论成立:证明：根据仙农不等式，无条件熵大于有条件熵，弱条件熵大于强条件熵。含义：随着消息序列长度的增加，最后一个消息的条件熵呈递减趋势，即序列所增加的熵越来越小；只有当信源满足无记忆条件时，增加的熵才保持不变含义：序列的平均消息熵大于等于最后一个消息的条件熵含义：随着消息序列长度的增加，序列所增加的熵越来越小，那么序列的平均消息熵也将越来越小含义：当消息序列的长度趋于无穷时，平均消息熵（即极限熵）等于最后一个消息的条件熵互信息定义 互信息量是通信系统的信宿从信源所获得的信息量。1.4.互信息定理1-4-1：互信息的性质I(U;V)=H（U）-H（U︱V）＝H（V）-H（V︱U）