信息论基础课件3.2.2.ppt

* 二、强对称离散信道的信道容量 1. 输入 变量与输出变量取值的集合均由ｎ个不同符号组成 2. 传递概率： 信道容量： 三、对称离散信道的信道容量 如果一个矩阵的每一行都是同一集合 中诸元素的不同排列，我们称矩阵的行是可排列的； 如果一个矩阵的每一列都是同一集合 中诸元素的不同排列，我们称矩阵的列是可排列的； 如果一个矩阵的行和列都是可排列的,则称这个矩阵是可排列的,或称它具有可排性. 如果一个信道矩阵具有可排性,它所表示的信道称为对称信道. 是对称信道 不是对称信道 与强对称信道的区别： 1. 强：m=n 对：m=n ? 2. 强：行元素集合与 列元素集合相同 对：？ 3. 强：行∑ =1，列∑ =1 对：行∑ =1，列：？ 4. 强：对称 对：？ 例3、求图中所示两信道的信道容量。 1/3 1/3 1/6 1/6 1/6 1/6 1/3 1/3 1/3 1/2 1/6 1/2 1/2 1/6 1/6 1/3 1/3 解：两信道的信道矩阵为 其满足对称性，所以两信道为对称离散信道。 最佳输入分布（即达到信道容量的输入分布）是输入为等概率分布。 四、准对称离散信道的信道容量 行具有可排列性，列不具有可排列性 但把矩阵的前两列和后两列分成互不相交的子集，构成两个子矩阵。两个子矩阵的行和列均是可排列的。所以信道[P]是准对称信道。 行：同一集合 列：非同一集合 [P]k：各行可排列， 各列可排列 (k=1,…,s) 当随机变量Y呈等概率分布的时候，熵值达到最大。但[P]中各列不具有可排性，要使p(yj)=1/m,则可能使输入概率分布中的某些概率出现负值，这是办不到的。为了在输入概率分布非负的条件下使熵值达到最大，我们将H(Y)中的m项分成S组 (k=1,2,…,s) (k=1,2,…,s; jl=1,2,…,mk) (x0) (k=1,2,…,s; jl=1,2,…,mk) (3.2.19) 例4 信道矩阵, 将它分成可排列 的子矩阵, 和 则,