信息论和编码民大02-信源和信源熵.ppt

信息与信息熵 Information and Entropy 信源的统计特性和数学模型 各类信源的信息测度—---信息熵及其性质。 信源的统计特性 在信息论中，确切地说信源是产生消息 符号 、消息序列和连续消息的来源。从数学上看，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源。 其次，讨论信源的统计特性。客观信源的基本特性是具有随机不确定性。 信源的分类讨论 首先讨论离散单个消息 符号 信源（单符号离散信源）。它是最简单的也是最基本的信源，是组成实际信源的最基本单元。 其次，讨论实际信源。实际信源不可能仅发送单个消息 符号 ，对离散信源而言，发送的是一组消息 符号 串，即一个随机序列（多符号离散信源） ；对连续信源而言则是一随机过程（连续信源） 。 在实际问题中，连续的模拟信源往往可以采用两种方法进行分析。 一类是将连续信源离散化为随机序列信源，再采用前面的随机序列信源进行分析； 另一类则是直接分析连续模拟信源，但是由于数学上的困难，只能分析单个连续消息变量的信源。 有3类最常用展开式：傅氏级数展开、取样函数展开及K-L展开。 单符号离散信源数学模型 单符号离散信源的数学模型就是离散型的概率空间： X代表随机变量，指的是信源整体 xi代表随机事件的某一结果或信源的某个元素 p xi P X xi ，表示随机事件X发生某一结果xi的概率。 n是有限正整数或可数无限大 不确定性与发生概率 事件发生的概率越小，我们猜测它有没有发生的困难程度就越大，不确定性就越大。概率等于1的必然事件，就不存在不确定性。 某事件发生所含有的信息量应该是该事件发生的先验概率的函数。 用函数f [p xi ]来表示信息量与先验概率的关系，可以从数学上证明这种函数形式是对数形式。 1928年，信息论的先驱者之一哈特莱 Hartley 首先研究了具有Nm个组合的单个消息信源。他对这类非概率 实际是等概率 信源进行了研究，并给出了最早的信息度量公式, 定义为可能消息量的对数: I log 1/p xi logNm mlogN p xi 1/Nm 自信息 用概率测度定义信息量： 设离散信源X，其概率空间为 如果知道事件xi已发生，则该事件所含有的自信息定义为 自信息含义 当事件xi发生以前：表示事件xi发生的不确定性。 当事件xi发生以后：表示事件xi所含有（或所提供）的信息量。在无噪信道中，事件xi发生后，能正确无误地传输到收信者，所以I xi 可代表接收到消息xi后所获得的信息量。这是因为消除了I xi 大小的不确定性，才获得这么大小的信息量。 联合自信息量 信源模型为 其中0≤p xiyj ≤1 i 1,2,…,n; j 1,2, …,m 则联合自信息量为 当X和Y相互独立时，p xiyj p xi p yj 两个随机事件相互独立时，同时发生得到的信息量，等于各自自信息量之和。 条件自信息量 设yj条件下，发生xi的条件概率为p xi /yj ，那么它的条件自信息量I xi/yj 定义为 自信息量、条件自信息量和联合自信息量之间的关系 互信息量和条件互信息量 最简单的通信系统模型： X—信源发出的离散消息集合； Y—信宿收到的离散消息集合； 信源X、信宿Y的数学模型为 互信息量 mutual information yj对xi的互信息量定义为后验概率与先验概率比值的对数。 先验概率：信源发出消息xi的概率p xi 。 后验概率：信宿收到yj后推测信源发出xi的概率p xi / yj 。 转移概率：信源发出xi后信宿收到yj的概率p yj / xi 。 条件互信息量 消息xi与消息对yj zk之间的互信息量为 条件互信息量定义：在给定zk条件下，xi与yj之间的互信息量。 信息熵 Entropy —平均信息量 平均信息量—信源熵：自信息的数学期望。 信息熵的单位：一般以2为底，其单位为比特/符号。 信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，不同的信源因统计特性不同，其熵也不同。 信源熵的三种物理含义 信源熵有以下三种物理含义。 信源熵H X 是表示信源输出后每个消息/符号所提供的平均信息量； 信源熵H X 是表示信源输出前，信源的平均不确定性； 用信源熵H X 来表征变量X的随机性 如下例 举 例 有两个信源，其概率空间分别为 信息熵分别为 H X -0.99log0.99-0.01log0.01 0.08 比特/符号 H Y -0.5log0.5-0.5log0.5 1 比特/符号 可见 H y H x 本例结论 信源Y的二个输出消息是等可能性的，所