第4章-单符号离散信道详解.ppt

1）在公式1中，转移概率已知，需要求出p1,p2,… ,pr和λ共r+1个量，等式一共有r+1个。若这些等式相互独立，则有唯一的一组解，即只有概率满足此条件时平均互信量才达到最大值。若有部分等式相关，则有很多组解，此时说明达到信道容量的信源概率可以有很多种分布。 第9节 信道容量及其一般算法 说明： 2）将可行的一组信源概率分布代入到平均互信量公式，即可得到信道容量。 3）实际计算时还是比较复杂，尝试进一步简化 在公式1中，将前一个等式的两边同时乘以pi并对i求和 因为左式＝右式，所以公式1可以表示为： 第9节 信道容量及其一般算法 等式可化简为： 第9节 信道容量及其一般算法 令： 讨论： 第9节 信道容量及其一般算法 如果第一次计算结果不满足，怎么办？？？？ 1 一般无噪声信道 第10节 几种无噪声信道的信道容量 2 发散性无噪声信道信道容量 3 归并性无噪声信道信道容量 第10节 几种无噪声信道的信道容量 1、强对称信道的信道容量 1) 强对称信道的定义 若单符号离散信道的输入符号集为:X={a1,a2,…,ar}， 输出符号集为:Y={a1,a2,…,ar}。且信道转移概率为 第11节 几种对称信道的信道容量 信源符号与信道符号集相同，发送符号与接收符号相同的 概率为1－ε，出错的概率为ε，且各种出错情况的概率同。 第11节 几种对称信道的信道容量 2) 强对称信道的噪声熵 第11节 几种对称信道的信道容量 第11节 几种对称信道的信道容量 3) 强对称信道的信道容量 第11节 几种对称信道的信道容量 4) 强对称信道达到信道容量时的信源概率分布 第11节 几种对称信道的信道容量 结论： 1) 强对称信道的信道容量为： 2) 强对称信道的达到信道容量时的信源概率分布可以为： 第11节 几种对称信道的信道容量 P169 T20 例：设某信道的转移概率矩阵为 求该信道的信道容量 信道容量 达到信道容量时的信源概率分布： 第11节 几种对称信道的信道容量 2、对称信道的信道容量 1) 对称信道的定义 离散信道转移概率矩阵中的每一行由同一个概率序列的不同排列组成，各列的元素也是由另外一个数字序列的不同排列组成，则称这样的信道为对称信道。 第11节 几种对称信道的信道容量 例 P1,P2是对称信道， P3,P4不是对称信道 第11节 几种对称信道的信道容量 2) 对称信道的噪声熵 设转移概率矩阵中每行元素的取值序列为： 第11节 几种对称信道的信道容量 第11节 几种对称信道的信道容量 称信道的信道容量 第11节 几种对称信道的信道容量 4) 对称信道达到信道容量时的信源概率分布 第11节 几种对称信道的信道容量 P169 T21 设某信道的信道矩阵为 求该信道的信道容量。 第11节 几种对称信道的信道容量 该信道的容量为 达到信道容量时的信宿符号概率分布： 第11节 几种对称信道的信道容量 信源 信道 信源熵H(X)：代表平均每个信源符号所携带的信息量 平均互信量I(X;Y)：代表信道平均每传输一个符号所传递的信息量 信源条件熵H(X/Y)：代表信道平均每传输一个符号所损失的信息量 3、意义 第6节 平均交互信息量 信源 信道 反向信道信源熵H(Y)：代表平均每个信源符号所携带的信息量 反向信道平均互信量I(X;Y)：代表信道平均每传输一个符号所传递的信息量 反向信道信源条件熵H (Y /X)：代表反向信道平均每传输一个符号所损失的信息量 第6节 平均交互信息量 1、非负性证明 第7节 平均交互信息量的非负性 第7节 平均交互信息量的非负性 2、I(X;Y) ＝0的条件 当X与Y统计独立时， I(X;Y) ＝0 验证： 第7节 平均交互信息量的非负性 若：X与Y统计独立，即 即 则有 第7节 平均交互信息量的非负性 第7节 平均交互信息量的非负性 设信源 通过一个信道，信道的 输出随机变量Y的符号集为 ，信道的矩阵 (2) 收到消息 后获取关于a1,a2的交互信息量 求 (1) 信源X中的符号a1和a2分别含有多少信息量 第7节 平均交互信息量的非负性 (3) 信源X和信宿Y的信息熵 (4) 信道疑义度H(X/Y)和噪声熵H(Y/X) (5) 接收到消息Y后获得的平均交互信息量 第7节 平均交互信息量的非负性 第7节 平均交互信息量的非负性 第7节 平均交互信息量的非负性 第7节 平均交互信息量的非负性 第7节 平均交互信息量的非负性 第8节 平均交互信息量的极值性 第8节 平均交互信息量的极值性 第8节 平均交互信息量的极值性 第