武漢理工信息理论与编码计算题复习材料.docVIP

2.7 离散无记忆信源的扩展 2.3 每帧电视图像可看成是由个独立变化的像素组成的，每个像素又取128个不同的亮度电平，并设亮度电平是等概出现的。问每帧图像含有多少信息量？现假设有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，（1）试问广播员描述此图像所广播的信息量是多少？（2）假设汉字字汇是等概分布的，并且彼此无依赖，试问若要恰当地描述此帧图像，广播员在口述中至少需要多少个汉字？ 答案：王虹 解：设电视图像每个像素取128个不同的亮度点平，并设电平等概率出现，每个像素的亮度信源为 得每个像素亮度含有的信息量为： 一帧中像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆次扩展信源。得每帧图像含有的信息量为 广播口述时，广播员是从10 000个汉字字汇中选取的，假设汉字字汇是等概率分布的，则汉字字汇信源是 得该汉字字汇中每个汉字含有的信息量 广播员口述电视图像是从此汉字字汇信源中独立地选取1000个字来描述。所以，广播员描述此帧图像所广播的信息量为 若广播员仍从此汉字字汇信源中独立地选取汉字来描述电视图像，每次口述一个汉字含有信息量是,每帧电视图像含有的信息量是,则广播员口述此图像至少需用的汉字数等于 2.5 一副充分洗乱的牌（含52张），试问： （1）任一特定排列所给出的不确定性是多少？ （2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）一副充分洗乱的扑克牌，共有52张，这52张牌可以按不同的一定顺序排列，可能有的不同排列状态数就是全排列种数，为 因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。 设事件A为任一特定排列，则其发生概率为 可得，任一特定排列所给出的信息量为 比特 哈特 设事件B为从中抽取13张牌，所给出的点数都不同。 扑克牌52张中抽取13张，不考虑其排列顺序，共有种可能的组合。而扑克牌中每一种点数有4种不同的花色。而每一种花色都有13张不同的点数。13张牌中所有的点数都不相同（不考虑其顺序）就是每种点数的花色不同，所以可能出现的状态数为。因为牌都是充分洗乱的，所以在这种组合中所有的点数都不相同的事件都是等概率发生的。所以 则事件B发生所得到的信息量为 比特 哈特 2.6 平均互信息及其性质 2.6 设随机变量和的联合概率空间为 定义一个新随机变量（普通乘积）。 （1）计算熵、、、、以及； （2）计算条件熵、、、、、、、以及； （3）计算互信息量、、、、以及； 解 （1） bit/symbol 的概率分布如下 由得 由对称性可得 （2） Hp㏒p=- H=H-H H=H-H H=H-H H=H-H H=H-H H=H-H H=H-H H=H-H H=H-H (3) 2.5 联合熵和条件熵 2.10 任意三个离散随机变量、和，求证： (1) 证明： 方法一：利用定义证明。 左边= = 右边= = = = = = = = 得证 方法二：利用性质证明。 因为 所以 可得 2.10 （2） 任意三个离散随机变量、和，求证： 。 (2)要证明不等式成立，等价证明下式成立： 根据熵函数的定义 得证 2.11 连续随即变量的熵和平均互信息量 2.12 设连续随即变量X的概率密度函数为 求X的熵； 求的熵； 求的熵。 解：（1） 因为 所以 故 若 则 所以 若 则 所以 3.4 信道的疑义度、散布度和平均互信息 3.2 设离散无记忆信源通过离散无记忆信道传送信息，设信源的概率分布和信道的