第五章 编定理.pptVIP

第五章 编码定理 5.1 引言 5.2 无失真离散信源编码定理 5.3 限失真信源编码定理 5.4 离散信道编码定理 5.5 连续信道编码定理 5.2 无失真离散信源编码定理 信源编码：将信源输出的随机序列变换成码序列， 且能进行反变换或译码，同时使传送码序列所需的 信息率最小。 一、等长信源编码定理 信源符号Si（i=1,2, ‥‥ q） 码字Wi（i=1,2, ‥‥q） 若Wi中的码元有r种可能的取值，码长为l 则对S进行等长编码，须满足 q ≤ rl 根据随机序列aN的切比雪夫不等式，显然： ① ② 假设 中的序列有 个，且： 即： 因此序列概率必然满足条件： 序列处于 集中的概率必为集内各序列aN的概率 之和： 将 式代入②式，得： ③ 以上为正定理部分的证明。 利用表达式：