第五章：无失真编码1课件.ppt

第五章：无失真信源编码 信源 信息论对信源研究的内容： 信源的建模：用恰当的随机过程来描述信号 关心角度：信号中携带的信息 信源输出信号中携带信息的效率的计算 熵率、冗余度 信源输出信息的有效表示 信源编码 信源 信源的特性与分类 实际信源举例 信源特性与分类 信源的统计特性 1）什么是信源？ 信源是信息的来源，实际通信中常见的信源有：语音、文字、图像、数据…。在信息论中，信源是产生消息（符号）、消息（符号）序列以及连续消息的来源，数学上，信源是产生随机变量U，随机序列U和随机过程U(t,ω)的源。 2）信源的主要特性 信源的最基本的特性是具有统计不确定性，它可用概率统计特性来描述。 信源特性与分类 信源的描述与分类 单消息（符号）信源： 离散信源 连续变量信源 平稳信源 无/有记忆信源 马尔可夫信源 随机波形信源 实际信源 信源特性与分类 单消息（符号）信源 它是最简单也是最基本的信源，是组成实际信源的基本单元。它可以用信源取值随机变量的范围U和对应概率分布P(u)共同组成的二元序对[U,P(u)]来表示。 当信源给定，其相应的概率空间就已给定；反之，如果概率空间给定，这就表示相应的信源已给定。所以，概率空间能表征这离散信源的统计特性，因此有时也把这个概率空间称为信源空间。 单消息（符号）信源－－离散信源 这些信源可能输出的消息数是有限的或可数的，而且每次只输出其中一个消息