信息理论与编码第5章分解.ppt

码符集合X={x1 , x2 , … , xr }。对信源 SN 进行编码，必 有一种方法，使其构成惟一可译码， 且使得信源的每个符 号所需的平均码长满足如下不等式 证明 将 SN 视为一个新的信源， 对上述不等式各边除以N，有 或 因为 所以 当N→∞时 将以上不等式各边乘以log r，有 结论：采用扩展信源编码，当 N 足够大时可使平均码长 接近下限。 3.编码信息率 根据 信源熵 和 对信源 SN 进行变长编码后，平均到单个符号的平均码长携带的信息量称为编码信息率，记为R 无噪信道的输入和输出是一一对应的，其信道矩阵的 特征是为单位矩阵。 对于有 r个输出(输入)符号的无噪信道的信道容量为 对于无噪信道，通过信源编码，使 R?log r，减少 信源剩余度，使信息传输率尽可能接近信道容量。 因此，无失真信源编码定理通常称为无噪信道编码定理。 定义 对信源 SN 进行变长编码后，平均一个信源符号能 携带的最大信息量称为编码率，记作Rs， (单位: bit/符号) 对于二元码符， r＝2，有 log2 r＝1，则 Shannon 第一定理也可以描述为，若 则存在惟一可译码，若H(S) Rs 则不存在惟一可译码。 定义 编码效率定义为 定义 对于变长码，定义码的剩余度为