信息论与编码试卷G.doc

信息论与编码试卷G 一 填空题（本题15空 ,每空1分,共15分 ） 4 一袋中有5个黑球、10个白球，以摸一个球为一次实验，摸出的球重新放进袋中。第一次实验包含的信息量为（ 0.918bit ）；第二次实验包含的信息量为（0.918 bit）。两次实验X1和X2的关系是（相互独立）。 二 判断题（本题10小题,每小题1分,共10分） （1） 校验矩阵的各行是线性无关的。（ ） （2） 冗余度是表征信源信息率多余程度的物理量，它描述的是信源的剩余。（ ） （4） 设（7，4）循环码的生成多项式为g(x)=x3+x+1，当接收码字为0010011时，接收码字中有错。（ ） （5） 互信息I(X;Y)与信息熵H(Y)的关系为：I(X;Y)≤H(Y)。（ ） （9） 信道容量随信源概率分布的变化而变化。（ ） （10）一个唯一可译码成为即时码的充要条件是其中任何一个码字都不是其它码字的前缀。（ ） 三 名词解释（本题4小题,每小题5分,共20分） 1 相对熵 连续信源的不确定度无穷大，因此通常用相对熵来衡量连续信源的熵，它描述的是两个连续信源之间的相对值或差值。 2 即时码 也称为异前缀码，非延长码，任意一个码字都不是其他码字的前缀部分。 4 随机错误 错误的出现是随机的，一般而言错误出现的位置是随机分布的，即各个码元是否发生错误是互相独立的，通常不是成片地出现错误。这种情况一般是由信道的加性随机噪声引起的。 四 计算题（本题3小题,共25分） 2）计算在此规则下译码的平均译码错误概率。 (3+3=6分) 解：1）根据最大似然概率译码规则，得译码规则为： F(y1)=x1 F(y2)=x2 F(y3)=x3 2）Y的概率分布为：{1/4 1/4 1/2} 收到y1后的错误概率Pe1=1/2 收到y2后的错误概率Pe2=1/2 收到y3后的错误概率Pe3=1/2 ∴在此译码规则下的平均错误概率为： PE=p(y1)Pe1+P(y2)Pe2+P(y3)Pe3=1/4× (1/2)+1/4×(1/2)+1/2×(1/2)=1/2 2 设有离散无记忆信源X，其概率分布为P（X）={0.4，0.18，0.1，0.1，0.07，0.06， 0.05，0.04}，求： 1）信源符号熵H（X）； 2）用哈夫曼编码编成二元变长码，并计算其编码效率； 3）如要求译码错误小于10-6，采用定长编码达到90%的编码效率，需要多少个信源符号一起编码？（3+3+4=10分） 3 设有编码如表所示： 信息 码字 00 00000 01 01101 10 10111 11 11010 （1） 找出生成矩阵G与监督矩阵H； （2） 在二元对称信道下给出最大似然译码的译码表； （3） 求正确译码的概率。 （3+3+3=9分 五、综合题（本题3小题,共30分） 1 一个无偏色子，抛掷一次，如果出现1，2，3，4点，则把一枚硬币投掷一次；如果出现5，6点，则硬币投掷二次。令X=x1表示掷色子出现1，2，3，4；X=x2表示出现5，6点；Y表示出现硬币正面的次数。求硬币投掷中正面出现的次数对于色子出现点数所提供的信息I(X;Y)？（8分） 3 一个马尔可夫过程的基本符号为0，1，2，这3个符号等概率出现，并且具有相同的转移概率，试： 1）画出一阶马尔可夫过程的状态图； 2）求稳定状态下的一阶马尔可夫信源熵H1和信源冗余度； 3）求稳定状态下二阶马尔可夫信源熵H2和信源冗余度。(3×4=12分 )