信息论与编码4.2绪论.pptx

1;(1) 某消息的信息量＝获得该消息后不确定性的 消除量。 不确定性?可能性?概率问题 信息量可用概率的某种函数来度量 (2) 不同的消息有信息量的多少的区别，因此 信 息的度量方应满足信息量的可加性。 信息量应该是满足可加性的概率的函数。;离散信源的信息量 离散信源统计特性的描述方法－－概率场 设离散信源包含N种可能的不同符号，相应的概 率场可表述为 概率场应满足条件： ;;单符号离散无记忆信源（DMS）;单符号离散无记忆信源（DMS）;离散无记忆信源及熵;信息的度量;自信息;自信息的4个相关问题;;; 信息量作为概率的函数，具有形式 应满足条件： （1） 是概率的单调递减函数； （2）如果 ，则 ； （3）如果 ，则 ； （4）如果 ，（独立事件） 则 。 ;14;15;;17;熵的性质; 离散信源的最大熵定理 定理4.2.6 当离散信源X取等概分布时，其熵 取最大值。 即：当信源取等概分布时，具有最大的不确定性。 示例：两个信源符号的情形。 P(x1)=p,P(x2)=1-p 当p=1/2时，H(X)= Hmax ;20; 离散信源的熵(续) 示例（续）：若上述离散信源发送独立的符号序列： 201 020 130 213 001 203 210 100 321 010 023 102 002 10 312 032 100 120 210 (1)求总的信息量；(2)利用熵估计总的信息量。 解：(1) (2) ;联合自信息;条件自信息;例：; 离散信源的联合熵 两随机变量 的概率场 满足条件：; 离散信源的联合熵(续) 两随机变量的联合熵 定义4.2.3 两随机变量 的联合熵 如两随机变量统计独立，有; 两随机变量的联合熵(续) 对于统计独立的两随机变量，不能从其中一个获得有关另外一个的任何信息。;;; 离散信源的条件熵 两随机变量的条件熵 定义4.2.4 两随机变量 的条件熵 一般地有(利用稍后的平均互信息量的非负性) 具有某种相关性的两随机变量，一个随机变???的出现总是 有助于降低另一随机变量的不确定性。 ;例：;;;;; 离散信源及容量 信道模型 信道的输入： 信道的输出： 信道模型(特性)可用其转移概率来描述; 离散信源及容量(续) 信道模型 信道模型(特性)可用其转移概率来描述，一般地有 输出不仅与当前的输入有关，而且与之前的若干个输入值 有关，呈现某种“记忆”效应。 ; 离散信源及容量(续) 离散无记忆信道的转移矩阵 输出仅与当前的输入有关 离散无记忆信道的后验概率矩阵 ;