Information Theory Coding信息论与编码（英文版）梁建武电子教案 Ch2例题与证明六.docVIP

[思考题] 已知12个球中有一个球的重量与其它球不同，其它球均等重。问用无砝码的天平至少须几次才能找出此球？ 解：天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为log3，12个球中的不等重球（可较轻，也可较重）的不确定性为： 因为 3log3＞log24 ∴3次测量可以找出该球 具体称法略。 [例一]一副充分洗乱了的牌（含52张牌），试问： 任一特定排列所给出的信息量是多少？ 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ (1)任意排列共有种，则任一排列的自信息量为：。 (2)应将点数相同花色不同的牌看作一类，则任意抽取的13张牌应在13类中分别进行。其概率为： ， ∴ 信息量。 [例二] 已知随机变量X和Y的联合概率分布满足： 试求能使H(XY)取最大值的联合概率分布。 H(X Y) ≤ H(X) + H(Y) 等号在X、Y独立时取得 ∴P() = P() = P() = P() = P() = P() = P() = P() = P() = 满足 H(XY) 取最大值 [例三]求证： I(X;Y;Z)=H(XYZ)-H(X)-H(Y)-H(Z)+I(X;Y)+I(Y;Z)+I(Z;X) [例4]令X为掷钱币直至其正面第一次朝上所需的次数，求H(X) P(X=n) = = H(X) = = = 2 bit [例5]一个无记忆信源有四种符号0，1，2，3。已知。试求由6000个符号构成的消息所含的信息量。 解：先计算一个符号所含的平均自信息量，即信源熵H H= =1.9056bit 无记忆信源由6000个符号构成的符号序列消息 [例6]发出二重符号序列消息的信源熵为而一阶马尔可夫信源的信源熵为试比较这两者的大小，并说明原因。 解：根据公式，当Y和X为同一集合时，有，各种熵和条件熵均为非负值，当且仅当X中只含有一个确定性事件时才出现H（X）=0。当X中含有二个或二个以上事件时，有H（X）＞0，及H（X2）＞0，H（X|X）＞0，因为H（X）＞0所以H（X2）＞H（X|X） 说明，在一般情况下，发二重符号序列的信源的信源熵H（X2）大于一阶马尔可夫过程的信源熵H（X|X） [例7]有一个马尔可夫信源，已知，，，，试画出该信源的概率转移图，并求出信源熵。 解：该信源的概率转移图为： 1/3 ○ ○ 2/3 (x1) 1 (x2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x1和 x2 的概率和 立方程：+ = + = =1 得 马尔可夫信源熵H = 得 H=0.689bit/符号