第二章信源和信息熵.pptVIP

第二章 信源和信息熵 2.1 信源的数学模型及分类 2.2 离散信源的信息熵 2.3 离散平稳信源的熵 2.4 连续信源的熵 2.1 信源的数学模型及分类 通信系统模型及信息传输模型： ? （2）信源发出的符号间彼此是否独立： 无记忆信源：随机矢量的各分量相互独立 有记忆信源：随机矢量的各分量不相互独立 表述有记忆信源比无记忆信源困难的多，实际中，信 源发出的符号往往只与前若干符号的依赖关系强，与 更前面的符号依赖关系弱，这类信源可用马尔可夫信 源表示。 不同统计特性的信源可用随机变量、随机矢量以及随 机过程描述其输出的消息。 2.2 离散信源的信息熵 一、信息量和熵 信息的度量应符合实际情况： 出现概率小的随机事件，不确定性大，信息量大； 出现概率大的随机事件，不确定性小，信息量小； 概率为1的确定事件，信息量为0。 香农定义的自信息量I(x)：任意随机事件出现概率的对数的负值表示自信息量。 例解： 测量前，P1(x)＝1/8，存在不确定性： I(P1(x))＝log8＝3bit 第一次测量获得信息量： 第二次测量获得信息量： 第三次测量获得信息量： 每次测量获得1bit信息量，需三次测量可确定坏灯泡 自信息I是一个随机变量，不能作为信源总体的信息量。 定义：自信息量的数学期望为信源的平均信息量，即信 源的