第三章-无失真信源编码（1）.pptVIP

5.信源的冗余度 离散无记忆信源： 信源符号间彼此无依赖、等概率分布，信源熵最大（最大熵定理） Hmax ，携带信息的效率最高。 离散有记忆信源： 信源输出符号间彼此依赖、相关，信源熵减小（条件熵＜无条件熵），输出符号间相关长度越长，信源熵越小。 所有有记忆信源、非等概率离散无记忆信源熵＜ Hmax 信源的冗余度r —— 1减去熵的相对率。 【注】 信源符号间依赖关系越大，信源冗余度越大。 信息论研究目的提高信息传输的有效性、可靠性、保密性。 从提高信源输出有效性的观点出发，希望减少或去掉冗余度。 冗余度大的信源具有较强的抗干扰能力，当干扰使信息在传输过程中出现错误时，可从它的上下关联中纠正错误，因此从提高信息传输可靠性观点出发，总是希望增加信源冗余度。 信源编码就是通过减少或消除信源冗余度来提高通信的传输效率，即提高通信的有效性。 信道编码则是通过增加信源的冗余度来提高通信的抗干扰能力，即提高通信的可靠性。 通信系统模型 包括：信源、编码器、信道、译码器、信宿五部分 为什么要对信源进行编码? 由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度。 （1）符号变化 符号集中的符号不同，如英语信源的符号是英文字母或单词，汉语信源的符号是汉字或汉语词组等等。为了便于信道传送，必须将信源符号序列变换成信道能够传送的符号序列。 （2）冗余度压缩 信源符号的概率分布不均匀，各个符号携带信息的多少相差很大即信息分布不均匀，信息冗余度大，因此有必要对信源符号序列加以变化，使变化后的新序列的信息分布均匀化，信息冗余变小，提高信息传输效率。 也就是说，实际发送的消息总是包含有无用的信息。信源包含有冗余。 信源编码的基本途径 是什么? 信源编码的基本途径有两个： 使序列中的各个符号尽可能地互相独立，即解除相关性； 解除相关性后，再使编码中各个符号出现的概率尽可能地相等，即概率均匀化，就能进一步改造有冗余信源的输出，去掉冗余度，增大传输效率。 例题： 【说明】 f1是定长编码； f2是变长编码，根据信源符号的概率不同，采用不同码长的码字，经常出现（概率大）的符号采用较短的码字，不经常出现（概率小）的符号采用较长的码字，因此平均码长就会缩短，是一种较好的编码策略。 2.信源编码前后的熵 将信源编码器输出可视为一个新信源X、W： 信源W：以码字集为符号集； 无失真编码一一对应映射，故 P(wi)=P(ui) (i=1,2,…q)， 编码前后熵保持不变： H(W)=H(U) (bit/码字或bit/符号) 信源X：以码元集为符号集； 编码效率是新信源X的熵的相对率，冗余度为： 编码后的信息率： 平均一个码元携带的信息量，记为R（就是X的熵）： 可见：平均码长越小，每个码元携带的信息量就越 多；传输一个码元就传输了较多的信息。 编码效率： 编码后的实际信息率与编码后的最大信息率之比： 码树图 信源熵 —— 表示信源输出每一个符号所携带的信息量。 对于一个具体信源，它所具有的总信息量是一定的 信息熵越大（每个信源符号所承载的信息量越大） 输出全部信源信息所需传送的符号就越少 通信效率越高 这是我们研究信息熵的目的 熵的相对率 —— 信源的实际信息熵与具有同样符号集的最大熵的比值。 第三章 无失真信源编码 信道编码 信源编码 保密译码 信道译码 信源译码 保密编码 噪声 信道 信源 信宿 编码器、译码器是人为设计的，很大程度上决定了通信性能的好坏。 无失真信源编码－冗余度压缩编码 只对信源的冗余度进行压缩，而不改变信源的熵。 保证码元序列经译码后能无失真地恢复成信源符号序列。 适用于离散信源或数字信号（文字、文件信源）。 信源编码的分类? 限失真信源编码－熵压缩编码 改变信源的熵。 只能保证码元序列经译码后能按一定的失真容许度恢复信源符号序列。 适用于连续信源或模拟信号（语音、图像信源）。 信源编码的主要任务就是减少冗余，提高