[研究生入学考试]信息论与编码A_第2章信息的度量.pptVIP

* 2.5 信源的冗余度 英文信源的冗余度 * 2.5 信源的冗余度 汉语信源的冗余度 考虑10000个常用汉字 * 条件互信息 解： (3) I(X;Y)，H(X,Y,Z) * 数据处理中信息的变化 第一级 处理器 X 输入 第二级 处理器 Y Z 输出 * 数据处理中信息的变化 H(X) H(Y) H(Z) H(X|Y;Z) H(Z|X;Y) H(Y|X;Z) I(X;Y|Z) I(X;Z|Y) I(Y;Z|X) I(X;Y;Z) 假设在Y条件下X和Z相互独立，则 I(X;Z)= I(X;Y)+ I(X;Z|Y) ? I(X;Y|Z) I(X,Y;Z)= I(X;Z)+ I(Y;Z|X) I(X,Y;Z)= I(Y;Z)+ I(X;Z|Y) I(X;Z)= I(Y;Z) + I(X;Z|Y )?I(Y;Z |X) 数据处理定理： H(X| Y)? H(X| Z), I(X;Z) ? I(Y;Z), I(X;Z) ? I(X;Y) 数据处理过程中只会丢失一些信息，绝不会创造出新的信息，这就是所谓的信息不增性。 * 数据处理中信息的变化 通信系统的信息变化 I(U;V)?I(X;V) I(X;V)?I(X;Y) I(U;V)?I(X;Y) 编码 信道 U X V 译码 Y * 第2章 信息的度量 2.1 信源的数学模型及分类 2.2 离散信源的熵 2.3 离散信源序列的熵 2.4 连续信源的互信息和微分熵 2.5 信源的冗余度 * 2.3 离散信源序列的熵 离散消息序列 离散信源的输出是时间或空间上的离散符号序列，并且序列中的符号之间有依赖关系。此时可用随机矢量来描述信源发出的消息 : X=(X1,X2,…,XN,XN+1,…) 长度为N的信源符号序列的平均符号熵： 离散平稳信源的熵率（极限熵、极限信息量） * 2.3 离散信源序列的熵 一维离散平稳信源： 二维离散平稳信源： N维离散平稳信源: （完全）离散平稳信源 * 2.3 离散信源序列的熵 离散平稳信源熵的性质 对于离散平稳信源 X=(X1,X2,…,XN,XN+1,…)，如果H(X1)?, 则 * 2.3 离散信源序列的熵 例2-3-1 设有离散二维平稳信源X=(X1,X2,…,XN,XN+1,…)，X1的概率分布如下 假设发出的符号只与前一个符号有关，即可用二维联合概率p(ai aj)给出它们的关联程度，如下表 aj ai 0 1 2 0 1/4 1/4 0 1 1/4 1/24 1/24 2 0 1/24 1/8 * 2.3 离散信源序列的熵 例2-3-1（续） 计算条件概率P(aj |ai) 如下： aj ai 0 1 2 0 1/2 3/4 0 1 1/2 1/8 1/4 2 0 1/8 3/4 * 2.3 离散信源序列的熵 例2-3-1（续） * 2.3 离散信源序列的熵 离散平稳无记忆信源的熵 已知X=(X1,X2,…,XN,XN+1,…)， 设离散信源Xi独立同分布X1： X1N的熵 ：H(X1N)=N?H(X1) X1N的概率分布 ： X1的N次扩展信源： X的平均符号熵： X的熵率： * 2.3 离散信源序列的熵 例2.3.2 设有一离散无记忆信源X，其概率空间为 求H(X)和H(X2). 解： 二次扩展信源X2的概率空间为 ： 注意: 单位中的“符号”是指扩展信源的输出符号(ai,aj) * 2.3 离散信源序列的熵 马尔可夫信源的熵 参考：傅祖芸. 信息论——基础与应用, 电子工业出版社, 2003. * 第2章 信息的度量 2.1 信源的数学模型及分类 2.2 离散信源的熵 2.3 离散信源序列的熵 2.4 连续信源的互信息和微分熵 2.5 信源的冗余度 * 2.4 连续信源的熵与互信息量 连续信源X 信源输出的消息是在时间上离散，而取值上连续的、随机的，这种信源称为连续信源。 例如遥控系统中有关电压、温度、压力等测得的连续数据。 波形信源 信源输出消息在时间上是连续的，其取值是连续的、随机的，这种信源称为随机波形信源。 例如语音信号X(t)、电视信号X(x0, y0, t)等都是时间的连续函数，这些信源输出的消息可以用随机过程来描述。 * 2.4 连续信源的熵与互信息量 * 2.4 连续信源的熵与互信息量 连续信源的熵（微分熵、相对熵、差熵） 连