3第三章 离散信道及其信道容量.ppt

小结 3.8 信源与信道的匹配 信道的信道容量为 例 若某离散无记忆信源，其概率空间为： 通过一无损无噪二元离散信道来传输。 C=1(比特/信道符号) 信源的信息熵为 H(X)=1.937 (比特/信源符号) 如何对S进行编码？将信源符号编码成信道符号。 编码方案有多种，如： 3.8 信源与信道的匹配 由于信道是无噪无损的，因而，信息传输率R(平均互信息)等于信道输入信源(编码后得到的新信源)的信息熵。 方案C1的每个信源符号需三个信道符号(二元符号), 方案C2则需4个信道符号。 而原始信源的信息熵为H(X)=1.937 (比特/信源符号) 利用方案C1进行编码后，得到的新信源的信息熵（每个信道符号所携带的信息量）为： H(X)/3=0.646(比特/信道符号) 利用方案C2进行编码后，得到的新信源的信息熵： H(X)/4=0.484(比特/信道符号) 3.8 信源与信道的匹配 由于信道是无噪无损的，因而，信息传输率R(平均互信息)等于信道输入信源(编码后得到的新信源)的信息熵。 方案C1，R1=0.646 (比特/信道符号) 易知：R2R1C=1 方案C2，R2=0.484 (比特/信道符号) 因而，两种方案下信息传输率(平均每个信道符号所能携带的信息量)分别为： 若采用huffman编码，编码结果为： 每个信源符号平均需要的信道