信息论复习试题.docVIP

《信息论》复习试题 一、填空题 信息论研究的主要问题是如何提高信息传输系统的有效性和可靠性。 根据信源是否在连续的空间集合取值，可将信源分为连续信源和离散信源。 信息量是指消息的不确定度，用函数表达式表示为I（x）=f[p(x)]= 若给定离散概率空间[x,p(x)]的信源，则该信源的自信息量可表示为I(x)=-logap(x)，平均自信息量（即熵）可表示为H(x)=E[I(x)]= 若集合X与集合Y相互独立，则H（XY）=H(x)+H(Y) 若给定离散联合概率密度空间[XY,P(xy)],则互信息量I(x;y)= 平均互信息量用条件熵可表示为I(x;y)= ,其中条件熵H(x|y)通常称为 熵，条件熵H(y|x)=____________熵。 信源的冗余度是指______________________，设信源符号集的最大熵为Ho，实际熵为Ｈ∞，则冗余度Ｒ可表示为_____________． 在峰值功率受限的条件下，最佳概率密度函数是一个恒值Wopt(x)=_________,当W(x)为均匀分布时，最大相对熵Hcmax=__________。 10、在平均功率受限，均值不为零的一维随机变量的方差为定值时，其取值的最佳概率密度函数为正态分布Wopt(x)=_________，最大相对熵Hcmax=__________。 11、假设任一随机变量X与一正态分布随机变量具有相同的熵Ｈｃ，则其等效正态分布的随机变量Ｘ的熵功率为Ｐ＝_____________． 12、对任一时刻的k,l以及任一取值ai∈X，bj∈Y，若离散无记忆信道满足P(yk=bj|xk=ai)=P(yl=bj|xl=ai),则信道称作是平稳的或横参的。 13、平均互信息量I(X;Y)表示接收到符号Y后平均每个符号获得的关于x的信息量. 14、信道的信息传输率就是平均互信息量，即R=I(X;Y)=H(X)-H(X|Y) P68 15、信道容量就是只信道的最大信息传输率，及C=maxI(X;Y) P68 16、有噪无损信道是指信道的损失熵H(X|Y)=0,而噪声熵H(Y|X)≠0; 无噪有损信道是指信道的噪声熵H(Y|X) =0,而损失熵H(X|Y)≠0 P72 17、可逆矩阵信道是指信道转移矩阵P为非奇异时，即可逆矩阵P-1存在时。P76 18、若信道传输率达到了信道容量，我们称信源与信道达到匹配，信道剩余度定义为:信道剩余度=C-I(X;Y) P78 19、并联信道的三种形式：积信道，和信道，输入并接信道，级联信道 P83 20、积信道的信道容量C=______,和信道的信道容量_______,输入并接信道容量________P81 21、在编码中，按码字长度的不同，可将码分为等长码和变长码，按码字是否全部相同可分为奇异码和非奇异码。 P95 22、唯一可译码包括：等长非奇异码、即时码、异前缀码、等长码、逗号码 P95 23、若q为信源符号的个数，r为码符号的个数，l为等长码的码长，则对信源进行等长唯一可译码的条件为q≤rl P95 24、变长编码可使出现概率大的信源符号用较短码字表示，出现概率小的信源符号用较长的码字表示。 P98 25、即时码是指在译码时无需参考后续的码符号就能立即做出判断的一类码。 P99 26、香农第一定理指出了平均码长与信源熵之间的关系，同时指出了可通过编码使平均码长达到极限值。 P109 27、由香农第一定理可推出，当平均码长达到极限时，编码后的信息传输率为R=logr bite/码符号 28、香农第二定理（信道编码定理）研究怎样使消息通过有噪信道传输后产生的错误最少，即研究通信的可靠性问题。 P118 29、最大后验概率是指对于每一个输出符号译成具有最大后验概率的那个输入符号，则信道错误概率就能最小。 P119 30、常用的信道编码：线性码，非线性码，分组码，卷积码，循环码，非循环码 P129 31、信道编码中的纠错与检错的能力是用信息量的冗余度来换取的。 P129 32、码重：在信道编码中，定义码组中非零码元的数目为码组的重量。 33、把两个码组中对应码位上具有不同二进制码元的位数定义为两组码的距离，称为汉明距离，简称码距。 P129 34、对于一个二进制对称信道，如输入为k个等概率的长度为