信息论习题集要点讲解.docVIP

信息论习题集 第二章 2.1 同时掷2颗骰子，事件A、B、C分别表示：（A）仅有一个骰子是3；（B）至少有一个骰子是4；（C）骰子上点数的总和为偶数。试计算A、B、C发生后所提供的信息量。 2.3 一信源有4种输出符号，=0，1，2，3，且p()=1/4。设信源向信宿发出，但由于传输中的干扰，接收者收到后，认为其可信度为0.9。于是信源再次向信宿发送该符号（），信宿准确无误收到。问信源在两次发送中发送的信息量各是多少？信宿在两次接收中得到的信息量又各是多少？ 2.5 一信源有6种输出状态，概率分别为 =0.5， =0.25， =0.125， = =0.05， =0.025 试计算。然后求消息ABABBA和FDDFDF的信息量（设信源先后发出的符号相互独立），并将之与长度为6的消息序列信息量的期望值相比较。 2.6 中国国家标准局所规定的二级汉字共6763个。设每字使用的频度相等，求一个汉字所含的信息量。设每个汉字用一个1616的二元点阵显示，试计算显示方阵所能表示的最大信息量。显示方阵的利用率是多少？ 2.7 已知信源发出和两种消息，且。此消息在二进制对称信道上传输，信道传输特性为，。求互信息量和。 2.8 已知二维随机变量的联合概率分布为：，，求。 2.13 有两个二元随机变量和，它们的联合概率分布如表2.5所列，同时定义另一随机变量（一般乘积）。试计算： 表2.5 0 1 0 1/8 3/8 1 3/8 1/8 熵； （2）， 和； （3）。 2.14 假定形成一个马尔可夫链，那么= ，请简化。 2.15 给定，的联合概率分布，如表2.10所示。 表2.10 0 1 0 1/3 1/3 1 0 1/3 （1），； （2），； （3）； （4）； （5）。 2.23 判断题 （1）； （2）若与独立，则； （3）； （4）如果，则要么，要么； （5）； （6）； （7）若与独立，则； （8）。 2.24 设随机变量的概率分布为。随机变量是的函数，其分布为将的4个最小的概率分布合并为一个：。 （1）显然，请解释原因； （2）请解释为什么？ （3）计算，； （4）计算并解释其结果。 第三章 3.2 有一无记忆信源的符号集为，已知信源的概率空间为。 （1）求信源熵； （2）求由个和个构成的某一特定序列自信息量的表达式； （3）计算由100个符号构成的符号序列的熵。 3.3 有一离散无记忆信源，其输出为，相应的概率为，，，设计两个独立的试验去观察它，其结果分别为，，已知条件概率如表3.1所列。 表3.1 0 1 0 1 0 1 0 1 2 1/2 1/2 0 1 0 1 0 1 1 0 2 0 1  求和，并判断哪一个实验好些； （2）求，并计算做和两实验比做或中的一个实验可多得多少关于的信息； （3）求和，并解释它们的含义。 3.4 某信源符号集的概率分布和对应的二进制代码如表3.6所示。 表3.6 信源符号 概率 1/2 1/4 1/8 1/8 代码 0 10 110 111 （1）求信源符号熵； （2）求平均每个消息符号所需要的二进制码元的个数或平均代码长度，进而用这一结果求码序列的二进制码元的熵； （3）当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进码序列中出现和的无条件概率和，以及相邻码元间的条件概率、、和。 3.6 一个马尔可夫过程的基本符号为0，1，2，这3个符号等概率出现，并且具有相同的转移概率。 （1）画出一阶马尔可夫过程的状态图，并求稳定状态下的一阶马尔可夫信源熵和信源剩余度； （2）画出二阶马尔可夫过程的状态图，并求稳定状态下的二阶马尔可夫信源熵和信源剩余度。 3.7 一阶马尔可夫信源的状态转移图如图3.2，信源的符号集为。 图3.2 （1）求平稳后的信源的概率分布； （2）求信源熵； （3）求当或时信源的熵，并说明其理由。 3.8 有一个二元无记忆信源，其发0的概率为，而，所以在发出的二元序列中经常出现的是那些一串为0的序列，称高概率序列。对于这样的信源我们可以用另一新信源来代替，新信源中只包含这些高概率序列。这时新信源，共有个符号，它与高概率的二元序列的对应关系如下： 二元序列：1，01，001，…，（共个0），（共个0）； 新信源符号：。 求； 当时，求信源的熵。 3.9 给定状态