第三章-无失真信源编码（一）.pptVIP

通信系统模型 包括：信源、编码器、信道、译码器、信宿五部分 为什么要对信源进行编码? 由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度。 （1）符号变化 符号集中的符号不同，如英语信源的符号是英文字母或单词，汉语信源的符号是汉字或汉语词组等等。为了便于信道传送，必须将信源符号序列变换成信道能够传送的符号序列。 （2）冗余度压缩 信源符号的概率分布不均匀，各个符号携带信息的多少相差很大即信息分布不均匀，信息冗余度大，因此有必要对信源符号序列加以变化，使变化后的新序列的信息分布均匀化，信息冗余变小，提高信息传输效率。 也就是说，实际发送的消息总是包含有无用的信息。信源包含有冗余。 信源编码的基本途径 是什么? 信源编码的基本途径有两个： 使序列中的各个符号尽可能地互相独立，即解除相关性； 解除相关性后，再使编码中各个符号出现的概率尽可能地相等，即概率均匀化，就能进一步改造有冗余信源的输出，去掉冗余度，增大传输效率。 例题： 【说明】 f1是定长编码； f2是变长编码，根据信源符号的概率不同，采用不同码长的码字，经常出现（概率大）的符号采用较短的码字，不经常出现（概率小）的符号采用较长的码字，因此平均码长就会缩短，是一种较好的编码策略。 2.信源编码前后的熵 将信源编码器输出可视为一个新信源： 信源W：以码字集为符号集； 无失真编码一一对应映射，故 P(wi)=P(ui) (i=1,2,…q)， 编码前后熵保持不变： H(W)=H(U) (bit/码字或bit/符号) 信源X：以码元集为符号集； 编码效率是新信源X的熵的相对率，冗余度为： 编码后的信息率： 平均一个码元携带的信息量，记为R（就是X的熵）： 可见：平均码长越小，每个码元携带的信息量就越 多；传输一个码元就传输了较多的信息。 编码效率： 编码后的实际信息率与编码后的最大信息率之比： 码树图 第三章 无失真信源编码 信道编码 信源编码 保密译码 信道译码 信源译码 保密编码 噪声 信道 信源 信宿 编码器、译码器是人为设计的，很大程度上决定了通信性能的好坏。 无失真信源编码－冗余度压缩编码 只对信源的冗余度进行压缩，而不改变信源的熵。 保证码元序列经译码后能无失真地恢复成信源符号序列。 适用于离散信源或数字信号（文字、文件信源）。 信源编码的分类? 限失真信源编码－熵压缩编码 改变信源的熵。 只能保证码元序列经译码后能按一定的失真容许度恢复信源符号序列。 适用于连续信源或模拟信号（语音、图像信源）。 信源编码的主要任务就是减少冗余，提高编码效率。 具体说，就是针对信源输出符号序列的统计特性， 寻找一定的方法把信源输出符号序列变换为最短的码字序列。 信源编码的基础是什么? 信源编码的基础： 无失真编码定理 限失真编码定理 1）无失真编码是可逆编码，即信源符号转换成代码后，可从代码无失真的恢复原信源符号。只适用于离散信源。 2）对于连续信源，编成代码后就无法无失真地恢复原来的连续值，因为后者的取值可有无限多个。此时只能根据限失真编码定理在失真受限制的情况下进行限失真编码。 说明： 3.1 编码定义 3.2 定长编码定理 3.3 变长编码定理 3.4 最佳编码 3.5 游程编码 编码器可看作这样一个系统： 输入端：原始信源U，其符号集为U:{u1,u2,…,uq}； 信道：所能传输的码符号集（码元集）为X:{x1,x2,…,xr}； 编码器的功能：用符号集X中的元素，将原始信源的符号ui变 换为相应的码字符号wi(i=1,2,…,q)，即相当于 一个一一对应的变化或映射f (f: ui wi) 编码器输出端：符号集（码字集）为W:{w1,w2,…,wq}。 3.1 编码定义 【注】信源编码就是从信源符号到输出码字符号的一种映射。若要实现无失真编码，则这种映射必须是一一对应的、可逆的。 平均码长 码字的码长：码字wi所含码元的个数，记为li（码元/符号，r进制单位/符号）。 定长编码（变长编码）：