2信源与信息熵2 信息论与编码 教学课件.ppt

2.2 离散信源熵和互信息量 对于特定的信源，符号的概率分布是确定的。概率的大小决定了信息量的大小。 2.2.1 自信息量 虽然符号分布的概率是确定的，但是信源每次发出的具体消息是不确定的：只有当信源发出的消息通过信道传输给接收方信宿后，才能消除不确定性从而获得信息。 事件发生的不确定性与事件发生的概率有关。事件发生的概率越小，不确定性就越大，获得的信息量就越大；而事件发生的概率越大，不确定性就越小，获得的信息量就越小。 如果消息出现的概率很大，一旦出现人们不会感到意外，所以给人的信息量就很小；对必然出现的信息(发生概率等于1的必然事件)，则不存在不确定性，不具任何信息量，能带给接收者的信息量为0。 反之，信源发生的概率越小，一旦它出现必然使人感到意外，给人的信息量就越大；当消息的概率很小，即几乎不可能的消息出现了，则会给人以巨大的信息量。 所以，信息量应该是消息出现概率的递减函数。并且符合边界条件的特点。 从数学理论知对数函数就有上述特征。 复习：对数函数的基本性质 单符号离散信源的自信息量 对于发出单个符号的离散信源发出的单个消息，给出如下的(非平均)信息量/自信息量定义： 给定一个离散信源： 其中p(ui)为ui出现概率，且 如果消息ui已经发生，则ui包含的自信息量为 或：对于给定的离散概率空间表示的信源，x=ai事件所对应的(自)信息量为 式中： p(ui) - ui发生的(先验)概率； I(ui) - ui发生所含信息量。 自信息量的单位与所用对数底有关： 在信息论中常用的对数底是2，信息量的单位是比特(bit)，即：I(ui)＝－lbp(ui)(比特)。 在这里，比特是指抽象的信息量单位！！！与计算机术语中“比特” 没有关系。 若取自然对数e为底，则信息量的单位为奈特(nat)，即：I(ui)＝-lnp(ui)(奈特)，1nat = 1.433bit ； 若以10为对数底，则信息量的单位为笛特(det)，即I(ui)＝-lgp(ui)(笛特), 1det=3.322bit 。 结合数学公式的推导，容易得出这三个信息量单位之间的转换关系如下： 1bit≈0.693nat≈0.301det。 例1:参见教材P16。 例2(P17):一个以等概率出现的二进制码元0和1的信源。p (ui)＝1/2,可得I (ui) ＝1bit。所以，在信息论中，1比特信息量就是两个互不相容的等概率事件之一发生时所提供的信息量。 类似地，信源输出m位的二进制数，每个符号等概率出现，则每个符号序列提供的信息量是m个bit。P17。 例：假设一次掷两个各自均匀、互相不可区分又互不相关的骰子。如事件A、B、C分别表示：(A)仅有一个骰子是3；(B)至少有一个骰子是4；(C)骰子上点数的总和为偶数。试计算事件A、B、C发生后所提供的信息量。 解：事件A、B、C发生的概率分别为： p(A)=nA/N=5/18 p(B)=nB/N=11/36 p(C)=nC/N=1/2 A、B、C所提供的信息量分别为： I(A)=-log p(A)=1.8480 bit I(B)=-log p(B)=1.7105 bit I(C)=-log p(C)=1 bit。 信源符号的不确定度 (P17)自信息量是当信源发出的消息或符号被信宿接收到以后，信宿所获取的信息量大小。自信息量是在信源发出符号经信道传输后，接收者才能获得。自信息量是针对信源发出的某一个消息而言所得出的信息量，不同的消息对应不同的自信息量。 不确定度：是信源符号固有的，不管信源是否发出符号都客观存在。 不确定度在数值和单位上都和自信息量相同。(注意理解：相同的条件？) 当事件ui发生前，自信息量I(ui)的大小表示事件发生的不确定性大小；当事件ui发生后，其自信息量I(ui)表示该消息所能提供给接收者的信息量。 自信息量的性质 当p(ui) =1时， I(ui) =0； 当p(ui) =0时， I(ui) = ∞ ； I(ui)是非负值； I(ui)是p(ui)的单调递减函数； 自信息量是针对无条件概率计算的，可以在数学上进行简单的推广：将无条件概率换为条件概率或联合概率。 表面上的纯粹的数学公式的延伸，在香农信息论中实际上能够用于揭示通信或数据处理过程中更多的物理含义。 条件自信息量 定义：条件概率的对数的负值。 即：联合概率空间中，在特定条件下( yj已定),随机事件xi发生所带来的信息量。 若两个消息ui、uj出现不是独立的，而是有相互联系的，这时可引用条件概率来描述。 若将在信源消息ui