信息论第二章试题.doc

信息论试题 二祖 一 填空 如果用随机变量代表一个信源，则熵就是它的（平均不肯定性的度量。） 设x1，x2，…，xn的联合分布为p（x1，x2，…，xn），则（H（x1，x2，…，xn）=(Xi|xi-1，…，x1)）。 D（p∧q）=0,且等号成立的充要条件是（p(x)=q(x)对所有x∈成立）。 和x是取值于相同集合的随机变量。则H（x|）=h(pe)+pelog(||||-1) 5信源按其数学模型随机过程的统计特征来分类，随机过程的随机变量之间互相独立的称（独立信源），不独立的称（不独立信源），平稳或遍历随机过程则对应（平稳或遍历信源）。 6若存在X上的一个概率分布u，满足（uM=u），则称u为马氏过程的平稳分布。 7对无记忆信源{Xk，k〉=1 }有（-1/n㏒P（X^n））以概率收敛到H（X）。 8.信源编码有（哈夫曼编码）、(LZ编码)…… 9、信源——信源编码器——（信道编码器）——信宿 10.信源编码以提高通信的有效性为目的的编码，（压缩）冗余 11.信道编码一提高信息传输的（可靠性）为目的 12具有输入字母集x及输出字母集y的一个信道编码，是一对函数(f,g)，其中f是从有限集 的映射，g是的映射，f为编码函数，g为译码函数，信道编码(f,g)的译码速率R为( ). 13二进制对称信道，则其信道容量为( ) 14关于联合典型序列{（）}的集，=___1____. 15. 的充要条件是 X和Y互相独立 。 16.随机变量X服从正态分布，则X的熵为 . 17.失真测度的充要条件是 X=Y . 18、设信源X是平稳的，则 R(D)= 右端的极限 _ ____。(答案：存在) 19、对离散无记忆信源，R(D)=n R，从而。（≥，＝，≤）(答案：=) 20、设X为离散无记忆信源，则对任意的R R，必存在一个（2， n）码，使Ed（X，）__ _D。（≥，＝，≤）(答案：) 21、设X～，失真测度为 d ( 0 , 0 ) = d ( 1, 1 ) = 0 , d ( 1 , 0 ) = 1 , d ( 0 , 1 ) = ，则率失真函数R(D)=______。 (答案：R=) 简答： 1得到自信息量表示的唯一性定理的依据是自信息满足哪些公理？ 答：满足5项公理： 非负性：I（x）=0。 1)如p(x)=0,则I（x）→∞ 2)如p(x)=1，则I（x）=0 3)严格单调性：如果p(x)p(y).则I（x）I(y) 4)如果p(x,y)=p(x)p(y),则I（x,y）=I(x)+I(y) 2简述无记忆信源的定义 答：当X1，X2，……Xn，……为相互独立的随机变量序列，且服从相同的分布 Pr（Xi=x）=P（x） 对任意i成立，称它为无记忆信源。 3简述平稳信源的定义 答：设X={X1，X2，……Xn，……}为平稳信源，则 H’（X）=，存在 H（X）=H（X） 4简述信道编码定理 对信道容量C的离散无记忆信道，任何码率R，如RC,则R是可达的，即 ①正定理：当RC时存在一列（）码使最大误差概率满足,； ②反定理：任何一列（）码，最大误差概率满足,则必有R=C. 5叙述复合信源—信道编码定理 设 是取值于有限字母表U的无记忆信源，有熵率H(U),[x,Q(y|x),y]为无记忆信道，有信道容量C， （a）如H(U)C,则对任何 0,存在复合信源—信道码(f,g),使； （b）反之，如H(U)C,则 0. 6.简述最大熵定理的内容。 答：1）离散型分布以等概率分布熵最大； 2）不限定方差或功率的连续分布以均匀分布熵最大； 3）限定方差或功率的连续分布以同方差的高斯分布熵最大。 7.简述互信息的定义及与可微熵、条件熵的关系。 答：定义：设X,Y有联合分布密度和边际分布密度和，X和Y的互信息定义为： 关系： 8问：率失真函数 R(D)具有哪四条性质？ 答案：(a) 0 R(D) H (X)，R(D) = 0，当且仅当D ； (b) R(D)为 0 D 上的减函数； (c) R(D)为[ 0 ，] 上的凸函数，即对任意的 ， 0 和 0 1，有 R(+(1—)) R()+(1—)R()； (d) R(D)为[ 0，] 上的连续函数。 证明： 1.证明互信息的链法则I(x1，x2，…，xn;Y)=(Xi;Y|xi-1，…，x1) 答案在课本p11. 2.证明定理：若H（x）=0,且等号成立的充要条件是x有退化分布。 答案在课本p4. 3、简述克莱夫特不等式 码字字母取值于D进制字母集的即时码，气码字长分别为L1，L2……Lm,时必须满足 4如何判定信源编码的优劣？ 越接近信源熵越优 5设f（