第五章 信源编码及编码定理.ppt

第五章：无失真信源编码 §5. The Source Coding Without Distortion §5.1 编码问题的一般概念与定义 §5.2 定长编码及定长编码定理 §5.3 变长编码及变长编码定理 第五章：无失真信源编码 §5. 1 编码问题的一般概念与定义 (General Concepts and Definitions for Coding) 所谓编码即信号的变换，或信号形式的变换。 (signal transform or signal form transform) “通信的根本问题是将信源的输出经信道传输后在接收 端(信宿)精确地或近似地重现出来。”这就是通信的本质， 能在宿端再现发端的信号，所以信号形式上的变换就是通 信的核心问题。 变换(transform)——称为编码(encoding) 反变换(inverse-transform)——则称为解(译) 码 (decoding) 所有编码手段无外乎为了四个目的： Ⅰ. 有效性(effectiveness)、Ⅱ. 可靠性(reliability) 、 Ⅲ. 安全性(security) 、Ⅳ. 经济性(economically) 、 §5. 1 编码问题的一般概念与定义 Ⅰ. 解决有效性问题的编码——信源编码( Source coding) 亦称压缩编码(Compressed coding),所谓信源编码是 指在无失真，或在有失真的条件下，如何利用尽可能少 的符号来表述信源发出的消息。 很显然，这种编码在于压缩信息的冗余度。根据编 码的前提条件，信源编码又分为两类： ⒈ 无失真信源编码(Source coding without distortion) 这种编码是一种可逆性编码(invertible coding) ，即 编码后的码字序列再经解码处理后，可无失真地恢复出 原来的消息或消息序列。显然对于离散信源来说才有可 能实现这种可逆编码，所以无失真信源编码仅适用离散 信源。 §5. 1 编码问题的一般概念与定义 ⒉ 限失真信源编码(Source coding with finite distortion) 此编码方式不能构成可逆编码，即编码后的码字序列 经解码(反变换)处理后，所恢复的消息序列与发端的原消 息序列存在有一定的失真。这种编码适合于连续信源模拟 信号的编码，因为对连续信源的信号无论做何种处理，都 无法避免信息的损失。比如语音信号，即使采用64Kbit/s 以上的速率量化，也会有相当的信息产生丢失，只不过有 时人耳察觉不到而已。实际工程中失真大量存在，而且在 允许失真的限度下进行编码处理对于大多数用户都是可以 接受的。因此对于信息量无限大的连续变量来说，按照熵 编码的原则压缩，信息丢失的程度应该是最小。 限失真信源编码的方法有很多，而且随信源的特性不同也有其 不同的压缩模式。但它们都没有达到Shannon所给出的理论极限。 §5. 1 编码问题的一般概念与定义 Ⅱ. 解决可靠性问题的编码——信道编码 (Channel coding) 亦称纠错编码。此类编码方式的目的，主要是解决如 何充分地利用信道的能力来可靠地传输信息。我们把这种 增加信道中抗干扰能力的编码称为信道编码。它所采用的 处理方针恰恰与信源编码中压缩冗余的方针正好相反，是 充分利用原有冗余度和进一步扩展冗余度的方针。所以这 种编码技术是以牺牲传输的有效性为代价来提高传输的可 靠性。 Ⅲ. 解决安全性问题的编码——密码(Cryptography) 这里的编码方法主要是为了解决信息传输过程中的安 全性问题。即为使授权用户(empower-user)尽可能无失真 地接收信息；而对于非授权用户(empower-user), 则不允 许其获取信息。 §5. 1 编码问题的一般概念与定义 Ⅳ. 解决传输经济性问题的编码——调制与复用 (modulation multiplex) 是指为了充分利用信道，进一步提高通信系统的通信 能力和降低通信成本而采用的编码技术。这类编码技术不 仅广泛地应用于通信网络中，而且在计算机网络和有线电 视网中也有大量的使用。这种编码技术大体分为这几类： 时分复用与时分多址接入技术(TDM TDMA) 频分复用与频分多址接入技术(FDM FDMA) 码分复用与码分多址接入技术(CDM CDMA) 波分复用