第5章信源编码概论.ppt

编码 信息传输需要解决的两个问题： 在不失真或允许一定失真的条件下，如何用尽可能少的信息率来传送信源信息？ 在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大？ 有效性和可靠性 提高抗干扰能力（降低失真或错误概率）往往是以降低信息传输率为代价的； 反之，要提高信息传输率常常又会使抗干扰能力减弱。 编码 编码的分类 信道编码：以提高信息传输的可靠性为目的的编码 通常通过增加信源的冗余度来实现。 采用的一般方法是增大码率/带宽。 密码：以提高通信系统的安全性为目的的编码 通常通过加密和解密来实现。 从信息论的观点出发，“加密”可视为增熵的过程，“解密”可视为减熵的过程。 编码 信源编码：以提高通信系统的有效性为目的的编码 信源符号之间存在分布不均匀和相关性，使得信源存在冗余度。 主要任务：减少冗余，提高编码效率。即用较少的码率传送较多的信息，使单位时间内传送的平均信息量增加，从而提高通信的有效性。 针对信源输出符号序列的统计特性，寻找一定的方法把信源输出符号序列变换为最短的码字序列。 解除相关性：使序列中的各个符号尽可能地互相独立 概率均匀化：使编码中各个符号出现的概率尽可能地相等 编码 无失真编码定理 可逆编码的基础。当信源符号转换成代码后，可从代码无失真地恢复原符号。 适用于离散信源/数字信号编码。 限失真编码定理 对于连续信源，编成代码后就无法无失真