第三章-无失真信源编码(1).pptVIP

通信系统模型 包括：信源、编码器、信道、译码器、信宿五部分 为什么要对信源进行编码? 由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度。 （1）符号变化 符号集中的符号不同，如英语信源的符号是英文字母或单词，汉语信源的符号是汉字或汉语词组等等。为了便于信道传送，必须将信源符号序列变换成信道能够传送的符号序列。 （2）冗余度压缩 信源符号的概率分布不均匀，各个符号携带信息的多少相差很大即信息分布不均匀，信息冗余度大，因此有必要对信源符号序列加以变化，使变化后的新序列的信息分布均匀化，信息冗余变小，提高信息传输效率。 也就是说，实际发送的消息总是包含有无用的信息。信源包含有冗余。 信源编码的基本途径 是什么? 信源编码的基本途径有两个： 使序列中的各个符号尽可能地互相独立，即解除相关性； 解除相关性后，再使编码中各个符号出现的概率尽可能地相等，即概率均匀化，就能进一步改造有冗余信源的输出，去掉冗余度，增大传输效率。 例题： 【说明】 f1是定长编码； f2是变长编码，根据信源符号的概率不同，采用不同码长的码字，经常出现（概率大）的符号采用较短的码字，不经常出现（概率小）的符号采用较长的码字，因此平均码长就会缩短，是一种较好的编码策略。 2.信源编码前后的熵 将信源编码器输出可