信息论与编码第三章.ppt

定理 3-2 设有一般离散信道,它有r个输入个符号， s个输出符号，其平均互信息I X,Y 达到 极大值（即等于信道容量）的充要条件是 输入概率分布p ai 满足 3.2离散单符号信道及容量 常数C就是所求的信息容量。 其中 C Y a I i ; 对所有 0 1 i a p 的 i a ; Y a I i ＜ C 对所有 0 i a p 的 i a 上述定理只是给出了达到容量时，信道输入符号分布的充要条件，并不能给出信道的最佳概率分布，即,没有给出信道容量的计算公式。 另，达到信道容量的最佳分布一般不是唯一的，只要输入分布满足概率的约束条件，并且使得I X,Y 达到最大值即可。所以一般情况下，根据上述定理求解信道容量和信道输入的最佳概率分布还是十分复杂的。 对于某些特殊信道，可以使用上述定理求解信道容量。 3.2离散单符号信道及容量 【例3-7】 设某信道的转移矩阵为 3.2离散单符号信道及容量 求;该信道容量和信道输入的最佳概率分布。 解: 该信道不能直接使用对称信道计算其信道容量 若信道输入符号的概率p a2 0,该信道就是一个二元纯对称删除信道。 就可以假设 p a1 p a3 1/2,然后检查是否满足定理3-2的条件,如果满足就可以计算出信道容量 3.2离散单符号信道及容量 首先求出p bj 3.2离散单符号信道及容量 p a1 p a3 1/2, p a2 0 计算互信息量 3.2离散单符号信道及容量 该输入概率分布满足定理3-2的条件,信道容量为C 0.9,对应的信道输入最佳概率分布为 0.5,0,0.5 C Y a I i ; 对所有 0 1 i a p 的 i a ; Y a I i ＜ C 对所有 0 i a p 的 i a 3.3离散序列符号信道及容量 前面讨论了输入和输出都是单个随机变量的信道及其容量，分析了对称信道、准对称信道、一般离散信道的信道容量和信道最佳概率分布的计算方法。实际中，信道输入、输出常常是离散随机序列。离散序列信道的一般模型见图 3.3离散序列符号信道及容量 图3-5 离散序列信道模型 对于无记忆离散序列信道，设序列长度为N，则信道转移概率可以简化为 如果信道是平稳的，则信道转移概率可以进一步简化为 p Y︱X 3.3离散序列符号信道及容量 讨论无记忆离散信道： 设信道输入符号取自于符号集 信道输出符号取自于符号集 信道转移矩阵为 3.3离散序列符号信道及容量 设序列长度为N，信道输入序列记作 αi ai1,ai2,….air i 1，2，…，rN， 信道输出序列记作 βj bj1,bj2….bjs j 1，2，…，sN， 由于信道输入共有rN种可能取值,信道输出有sN种 可能取值,所以N次扩展信道的转移概率矩阵为rN×sN 的矩阵，可以表示为 3.3离散序列符号信道及容量 对于无记忆信道,上述的转移概率可以简化为 其中，m 1，2，…，rN，n 1，2，…，sN 长度为N的离散序列平均互信息量为 I X;Y H XN -H XN︱YN H YN -H YN︱XN 3.3离散序列符号信道及容量 单符号无记忆信源的N次扩展信道：可以看作是一种特殊的多符号信道，而多符号信道是各个输入信源Xi都取自同一集合X，并联的各个输出信宿Yj都取自同一集合Y, 这样的N个信道的并联。 定理3-3 设离散信道的输入序列为X X1,X2,…,XN ,信道输出序列为Y Y1,Y2,…,YN ,信道的转移概率为 ，有 1 如果信道本身是无记忆的，则 2 如果信道的输入序列是无记忆的，几个分量相互独立，则 3.3离散序列符号信道及容量 3 如果输入序列和信道都是无记忆的，则 其中,Xi和Yi分别表示随机序列X和Y中第i个随机变量 该定理描述了离散信道中随机序列的平均互信息量I X;Y 与信道输入和输出中各个随机变量的平均互信息量之和之间的关系。特别是当信道输入序列和信道都是无记忆时，两者相等。如果构成信道输入、输出随机序列的各个随机变量来自于同一符号集，都服从同一分布，而且信道也是平稳的. 3.3离散序列符号信道及容量 各互信息量满足下列关系： I X;Y I Xi,Yi ，i 1，2，…，N 于是可以得出结论 由于信道输入随机序列的各个变量都在同一信道中传输，所以有 Ci C 3.3离散序列符号信道及容量 其中，i 1，2，…，N，即具有相同的信道容量。于是，可以得到离散无记忆N次扩展信道的容量为 CN NC 此式表明,离散无记忆N次扩展信道的信道容量等于构成单个离散信道的信道容量的N倍,而信道输入序列的最佳分布是构成序列的每个随机变量都达到各自的最佳概率分布。 对于一般的离散无记忆信道的