信息论与编码3信道与信道容量教程.pptVIP

3.2离散单个符号信道及其容量 Eg. 求信道容量 * 方法一： 信道的输入符号有两个，可设p(a1)＝?，p(a2)＝1－?信道的输出符号有三个，用b1、b2、b3表示 3.2离散单个符号信道及其容量 方法二 当p(a1)＝p(a2)＝1/2时，p(b1)＝p(b2)＝(1-0.2)/2＝0.4 C=H(Y)-H(Y/X)=0.036bit/符号 * 方法三 将转移概率矩阵划分成若干个互不相交的对称的子集 n为输入符号集个数；p1’，p2’，…ps’是转移概率矩阵P中一行的元素，即H(p1’，p2’，…ps’)＝H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，r是互不相交的子集个数 3.2离散单个符号信道及其容量 方法三 * 3.2离散单个符号信道及其容量 Eg. 求信道容量 * 3.2离散单个符号信道及其容量 一般DMC信道 1972年由R.Blahut和A.Arimoto分别独立提出的一种算法，现在称为Blahut-Arimoto算法 I(ai;Y) = C 对于所有满足p(ai ) 0条件的I I(ai;Y) ? C 对于所有满足p(ai ) = 0条件的I 当信道平均互信息达到信道容量时，输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息，只是概率为零的符号除外 * 3.3离散序列信道及其容量 离散序列信道