信息论课件-信源、熵率及冗余度.pptVIP

分析： 结论：符号间的相关性使得信源的平均符号熵减少，即 每个符号平均携带的信息量减少。 问题：H2(X)和H(X2|X1)哪一个值更能接近实际二维平稳 信源的熵？即：用哪一个值来表示二维平稳信源 每个符号平均携带的信息量?比特/符号 考察：离散平稳有记忆?信源符号之间的依赖长度为N的信源 X P（x） ＝ a1 a2 … an p1 p2 … pn 定义：N长的信源符号序列的平均符号熵即平均每个信源符号 所携带的信息量为 比特/符号 当 时，存在以下性质： 条件熵 随N的增加是非递增的 平均符号熵 随N的增加是非递增的 N给定时，平均符号熵=条件熵。即： 存在，且： 结论：对于有限记忆长度的平稳信源可用有限记忆长度的条件熵来对平稳 信源进行信息测度。 * 1、 * 信源、熵率及冗余度 信源 信息论对信源研究的内容： 信源的建模：用恰当的随机过程来描述信号 关心角度：信号中携带的信息 信源输出信号中携带信息的效率的计算 熵率、冗余度 信源输出信息的有效表示 信源编码 信源 信源的特性与分类 实际信源举例 信源特性与分类 信源的统计特性 1）什么是信源？ 信源是信息的来源，实际通信中常见的信源有：语音、文字、图像、数据…。在信息论中，信源是产生消息（符号）、消息（符号）序列以及连续消息的来源，数学上，信源是产生随机变量U，随机序列U和随机过程U(t,ω)的源。 2）信源的主要特性 信源的最基本的特性是具有统计不确定性，它可用概率统计特性来描述。 信源特性与分类 信源的描述与分类 单消息（符号）信源： 离散信源 连续变量信源 平稳信源 无/有记忆信源 马尔可夫信源 随机波形信源 实际信源 信源特性与分类 单消息（符号）信源 它是最简单也是最基本的信源，是组成实际信源的基本单元。它可以用信源取值随机变量的范围U和对应概率分布P(u)共同组成的二元序对[U,P(u)]来表示。 当信源给定，其相应的概率空间就已给定；反之，如果概率空间给定，这就表示相应的信源已给定。所以，概率空间能表征这离散信源的统计特性，因此有时也把这个概率空间称为信源空间。 单消息（符号）信源－－离散信源 这些信源可能输出的消息数是有限的或可数的，而且每次只输出其中一个消息。因此，可以用一个离散型随机变量X来描述这个信源输出的消息。这个随机变量X的样本空间就是符号集A；而X的概率分布就是各消息出现的先验概率，信源的概率空间必定是一个完备集。 在实际情况中，存在着很多这样的信源。例如投硬币、书信文字、计算机的代码、电报符号、阿拉伯数字码等等。这些信源输出的都是单个符号(或代码)的消息，它们符号集的取值是有限的或可数的。我们可用一维离散型随机变量X来描述这些信源的输出。它的数学模型就是离散型的概率空间： 单消息（符号）信源－－离散信源 对离散信源 例：对于二进制数据、数字信源：U={0,1}，则有 单消息（符号）信源－－连续变量信源 有的信源虽输出是单个符号(代码)的消息，但其可能出现的消息数是不可数的无限值，即输出消息的符号集A的取值是连续的，或取值是实数集(-∞，∞)。例如，语音信号、热噪声信号某时间的连续取值数据，遥控系统中有关电压、温度、压力等测得的连续数据。这些数据取值是连续的，但又是随机的。我们可用一维的连续型随机变量X来描述这些消息。这种信源称为连续信源，其数学模型是连续型的概率空间： 单消息（符号）信源－－连续变量信源 其中： 对于连续变量信源 平稳信源 很多实际信源输出的消息往往是由一系列符号序列所组成的。可以把这种信源输出的消息看做时间上或空间上离散的一系列随机变量，即为随机矢量。这时，信源的输出可用N维随机矢量X=(X１，X２…XN)来描述，其中N可为有限正整数或可数的无限值。这N维随机矢量X有时也称为随机序列。 一般来说，信源输出的随机序列的统计特性比较复杂，分析起来也比较困难。为了便于分析，我们假设信源输出的是平稳的随机序列，也就是序列的统计性质与时间的推移无关。很多实际信源也满足这个假设。 若信源输出的随机序列X=(Ｘ１，Ｘ２，…，ＸＮ)中，每个随机变量 Xi (i=1,2,…，N)都是取值离散的离散型