02－信源和信源熵.pptVIP

信源与信源熵 信源的统计特性 在信息论中，确切地说信源是产生消息(符号)、消息序列和连续消息的来源。从数学上看，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源。 其次，讨论信源的统计特性。客观信源的基本特性是具有随机不确定性。 信源的分类讨论 首先讨论离散单个消息(符号)信源（单符号离散信源）。它是最简单的也是最基本的信源，是组成实际信源的最基本单元。 其次，讨论实际信源。实际信源不可能仅发送单个消息(符号)，对离散信源而言，发送的是一组消息(符号)串，即一个随机序列（多符号离散信源） ；对连续信源而言则是一随机过程（连续信源） 。 在实际问题中，连续的模拟信源往往可以采用两种方法进行分析。 一类是将连续信源离散化为随机序列信源，再采用前面的随机序列信源进行分析； 另一类则是直接分析连续模拟信源，但是由于数学上的困难，只能分析单个连续消息变量的信源。 有3类最常用展开式：傅氏级数展开、取样函数展开及K-L展开。 单符号离散信源数学模型 单符号离散信源的数学模型就是离散型的概率空间： X代表随机变量，指的是信源整体 xi代表随机事件的某一结果或信源的某个元素 p(xi)=P(X=xi)，表示随机事件X发生某一结果xi的概率。 n是有限正整数或可数无限大 不确定性与发生概率 事件发生的概率越小，我们猜测它有没有发生的困难程度就越大，不确定性就越大。概率等于1的必然事件，就不存在不确定性。 某事件发生所含有的信息量应该是该事件发生的先验概率的函数。 用函数f [p(xi)]来表示信息量与先验概率的关系，可以从数学上证明这种函数形式是对数形式。 1928年，信息论的先驱者之一哈特莱(Hartley)首先研究了具有Nm个组合的单个消息信源。他对这类非概率(实际是等概率)信源进行了研究，并给出了最早的信息度量公式, 定义为可能消息量的对数: I=logNm=mlogN 自信息 用概率测度定义信息量： 设离散信源X，其概率空间为 如果知道事件xi已发生，则该事件所含有的自信息定义为 自信息含义 当事件xi发生以前：表示事件xi发生的不确定性。 当事件xi发生以后：表示事件xi所含有（或所提供）的信息量。在无噪信道中，事件xi发生后，能正确无误地传输到收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。这是因为消除了I(xi)大小的不确定性，才获得这么大小的信息量。 联合自信息量 信源模型为 其中0≤p(xiyj)≤1 (i=1,2,…,n; j=1,2, …,m) 则联合自信息量为 当X和Y相互独立时，p(xiyj)=p(xi)p(yj) 两个随机事件相互独立时，同时发生得到的信息量，等于各自自信息量之和。 条件自信息量 设yj条件下，发生xi的条件概率为p(xi /yj)，那么它的条件自信息量I(xi/yj)定义为 自信息量、条件自信息量和联合自信息量之间的关系 互信息量和条件互信息量 最简单的通信系统模型： X—信源发出的离散消息集合； Y—信宿收到的离散消息集合； 信源X、信宿Y的数学模型为 互信息量 互信息量： yj对xi的互信息量定义为后验概率与先验概 率比值的对数。 先验概率：信源发出消息xi的概率p(xi )。 后验概率：信宿收到yj后推测信源发出xi的概率p(xi / yj )。 条件互信息量 消息xi与消息对yj zk之间的互信息量为 条件互信息量定义：在给定zk条件下，xi与yj之间的互信息量。 信源熵—平均信息量 平均信息量—信源熵：自信息的数学期望。 信息熵的单位：一般以2为底，其单位为比特/符号。 信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，不同的信源因统计特性不同，其熵也不同。 信源熵的三种物理含义 信源熵有以下三种物理含义。 信源熵H(X)是表示信源输出后每个消息/符号所提供的平均信息量； 信源熵H(X)是表示信源输出前，信源的平均不确定性； 用信源熵H(X)来表征变量X的随机性(如下例) 举 例 有两个信源，其概率空间分别为 信息熵分别为 H(X)=-0.99log0.99-0.01log0.01=0.08 比特/符号 H(Y)=-0.5log0.5-0.5log0.5=1 比特/符号 可见 H(y)H(x) 本例结论 信源Y的二个输出消息是等可能性的，所以事先猜测哪一个消息出现的不确定性要大； 信源X的二个输出消息不是等概率的，事先猜测x1