应用信息论-第讲-信源熵.pptVIP

2 信源熵 本章重点：信源的统计特性和数学模型、各类信源的信息 测度—熵及其性质。 2.1 单符号离散信源 2.2 多符号离散信源 2.3 连续信源 2.4 离散无失真信源编码定理 2.1 单符号离散信源 2.1.1 单符号离散信源的数学模型 2.1.2 信息量和信息熵 2.1.3 熵的基本性质和定理 2.1.4 平均互信息 2.1.5 各种熵之间的关系 2.1.1 单符号离散信源的数学模型 (1) 信源的描述方法 (2) 单符号离散信源数学模型 (1) 信源的描述方法 在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的。 ① 离散信源：输出的消息常常是以一个个符号形式出现，这些符号的取值是有限的或可数的。 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 多符号离散信源：每次输出是一个符号序列，序列中每一位出现哪个符号都是随机的，而且一般前后符号之间是有依赖关系的。可用随机矢量描述。 ② 连续信源：输出连续消息。可用随机过程描述。 (2) 单符号离散信源数学模型 单符号离散信源的数学模型就是离散型的概率空间： X代表随机变量，指的是信源整体 xi代表随机事件的某一结果或信源的某个元素 p(xi)=P(X=xi)，表示随机事件X发生某一结果xi的概率。 n是有限正整数或可数无限大 2.1.2 信息量和信息熵 (1) 自信息量和条件自信息量 (2) 互信息量和条件互信息量 (3) 信息熵 (1) 自信息量和条件自信息量 ① 自信息量 ② 联合自信息量 ③ 条件自信息量 ① 自信息量 信息量与不确定性 不确定性与发生概率 自信息公式确定 自信息含义 信息量与不确定性 信源中某一消息发生的不确定性越大，一旦它发生，并为收信者收到后，消除的不确定性就越大，获得的信息也就越大。 由于种种原因（例如噪声太大），收信者接收到受干扰的消息后，对某信息发生的不确定性依然存在或者一点也未消除时，则收信者获得较少的信息或者说一点也没有获得信息。 信息量的直观定义： 收到某消息获得的信息量＝不确定性减少的量 ＝(收到此消息前关于某事件发生的不确定性) －(收到此消息后关于某事件发生的不确定性) 在无噪声时，通过信道的传输，可以完全不失真地收到所发的消息，收到此消息后关于某事件发生的不确定性完全消除，此项为零。因此得 收到某消息获得的信息量 ＝收到此消息前关于某事件发生的不确定性 ＝信源输出的某消息中所含有的信息量 不确定性与发生概率 事件发生的概率越小，我们猜测它有没有发生的困难程度就越大，不确定性就越大。概率等于1的必然事件，就不存在不确定性。 某事件发生所含有的信息量应该是该事件发生的先验概率的函数。 函数f [p(xi)]应满足以下4个条件 根据上述条件可以从数学上证明这种函数形式是对数形式。 自信息公式确定 ［举例］ 设在甲布袋中，放入p个不同阻值的电阻。如果随意选取出一个，并对取出的电阻值进行事先猜测，其猜测的困难程度相当于概率空间的不确定性。甲布袋的概率空间为 xi：阻值为i的电阻 p(xi)：选取出阻值为i电阻的概率 假设电阻选取的概率是相等的，则 接收到“选取出阻值为i的电阻”所获得的信息量为 乙布袋中，放入按功率划分的q种不同功率的电阻。如果对任意选取出来的功率值进行事先猜测，那么，可看成为另一概率空间 yj：功率为j的电阻 p(yj)：选取出功率为j的电阻的概率 假设q种不同功率的选择也是等概率的，则被告知“选取出功率为j的电阻”所获得的信息量为 这两个函数 应该是同一类函数 再设在第三个布袋中，放入p种不同阻值，而每一种阻值又有q种不同功率的电阻，即共有p· q个电阻。 设它们的选取也是等可能性的，其概率空间为 则“选取出阻值为i，功率为j的电阻”这一事件提供的信息量应为 从第三个布袋中选出一电阻的效果相当于从甲布袋中选择一电阻后再从乙布袋中选择一电阻。“选取出阻值为i，功率为j”这件事提供的信息量应该是“选取出阻值为i”和“选取出功率为j”这两件事提供的信息量之和，即 可以用泛函分析方法解得满足条件的函数形式为 所以：I(xi)=-logp， I(yj)=-logq， I(zk)=-logpq 显然满足： I(zk)= I(xi)+ I(yj) 用概率测度定义信息量： 设离散信源X，其概率空间为 如果知道事件xi已发生，则该事件所含有的自信息定义为 自信息含义 当事件xi发生以前：表示事件xi发生