2014年秋信息论课件第2章_信源与信息熵（习题课）.ppt

信息论基础B第2章 信源与信息熵（习题课） 任课老师：干宗良 博士(讲师) 江苏省图像处理与图像通信重点实验室 本章重要知识点 本章其它知识点 第一章内容回顾 通信系统的模型,和各模块的功能 自信息量的计算 例1：教材 page 39 2-4 红色球和白色球各50个 红色球99个，白色球1个 红、黄、白色球各25个 分别求出布袋中随意取出一个球时，猜测其颜色所需要的信息量？ （1）试问四进制、八进制的每一个波形所含的信息量是二进制波形的信息量的多少倍？例3：（2）有81枚硬币，外观完全相同，已知有一枚硬币恰好与其它硬币不同，问确定随意取出一枚硬币恰好是重量不同的一枚硬币，并进一步确定它比其他硬币是重还是轻一些所需要的信息量是多少？ 例4： 掷两粒骰子，当其向上的面的点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？ 例5：教材page 40 2-13 两个二元随机变量X和Y，它们的联合概率分布函数如下： 定义另一随机变量Z=X·Y（一般乘积），试计算 (1) 熵H(X), H(Y), H(Z), H(X,Z),H(Y,Z),H(X,Y,Z)； (2)条件熵H(X|Y),H(Y|X),H(X|Z),H(Z|X),H(Y|Z), H(Z|Y),H(X|YZ),H(Y|XZ)和H(Z|XY)； (3)互信息I(X;Y),I(X;Z),I(Y;Z),I(X;Y|Z),I(Y;Z|X)和 H(X;Z|Y)。 例6： 设信源发出两个消息 它们的概率分布为： 求该信源的熵和冗余度。 例7： 设离散无记忆信源 其发生的消息为 求： （1）此消息的自信息是多少？ （2）在此消息中平均每个符号携带的信息量是多少？ 例8： 设有一个信源，它产生0，1序列的消息。它在任意时间而且不论以前发出过什么符号，均按P(0)=0.4，P(1)=0.6的概率发出符号。 （1）试问这个信源是否是平稳的？ （2） （3）试计算 并写出 信源中可能有的 所有符号。 例9：一个二元无记忆信源，其发0的概率为p，而p≈1，所以在发出的二元序列中经常出现的是那些一串为0的序列（称高概率序列）。对于这样的信源我们可以用另一新信源来代替，新信源中只包含这些高概率序列。这时新信源 共有n+1个符号，它与高概率的二元序列的对应关系如下： （1） （2） 例10： 信息论基础B * 信息量(自信息量、条件信息量、联合信息量) 离散单符号信源熵、条件熵、联合熵 平均互信息量 马尔可夫信源极限熵（信源的符号熵） 熵及平均互信息量的性质 离散序列熵、序列符号熵 连续信源相对熵及最大熵定理 冗余度的概念 数据处理中信息不增加性原理 如何评价通信系统的好坏？ 定义：对于给定的离散概率空间表示的信源，x=ai事件所对应的（自）信息为 以2为底，单位为比特（bit) 信息量的计算和概率相关。 例2： X Y 0 0 1 1 1/8 3/8 1/8 3/8 0 1/3 2/3 3 1/3 0 2/3 2 1/4 1/4 1/2 1 3 2 1 i j （1）求X1X2X3的联合熵和平均符号熵 （2）求这个链的极限平均符号熵 （3）求H0，H1，H2和它们所对应的冗余度 信息论基础B * * * *