北航三版信息科学基础答案第3篇 离散信源.docVIP

3.1 设有一离散无记忆信源，其概率空间为 该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。求： (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是： 此消息的信息量是： (2) 此消息中平均每符号携带的信息量是： 3.2 某一无记忆信源的符号集为{0, 1}，已知信源的概率空间为 (1) 求信息符号的平均熵； (2) 由100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。 解： (1) (2) (3) 3.5 某信源的消息符号集的概率分布和二进制代码如题表3.2所列。 题表 3.2 信源 1/2 1/4 1/8 1/8 代码 0 10 110 111 (1) 求信息的符号熵； (2) 求每个消息符号所需要的平均二进制码的个数或平均代码长度。进而用这一结果求码序列中的一个二进制码的熵； (3) 当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率和，求相邻码间的条件概率、、、。 解： (1) (2) (3) 设消息序