信息论填空简答.docVIP

条件增加，随机变量的不肯定性下降，对应的熵减少 设X={,…,…}为无记忆信源，则熵率 冗余度=，相对冗余度= 一个随机变量X的任何D进即时码的平均码长应满足≥，其中等号成立当且仅当 二进对称信道的转移概率矩阵为 汉明失真： 平方失真： 绝对值失真： 率失真函数满足0≤≤，=0，当且仅当 设信源X是平稳的，则存在 随机变量经变换后，可微熵的变化，设c为常数，则 设a为常数，则 如果用随机变量代表一个信源，则 熵 就是它的平均不肯定的度量。 设，有概率p(x)，则x的自信息定义为：I（x）= 。 信息的产生和发送者称之为 信源 。 弱对称信道的信道容量为C= 香农在1948年首先证明了无记忆信源的 渐近等分性 并指出该性质对平稳遍历信源也成立。 相对熵D(p‖q)=0，且等号成立的 充要 条件是p（x）=q（x）对所有的成立。 （信道容量）一个离散无记忆信道的信道容量定义为C= 。 信源 →信源编码器→信道编码器→ 信道 →信道译码器→信源译码器→ 信宿 1、设信源X是平稳的，则 R(D)= 右端的极限 _ ____。(存在) 2、对离散无记忆信源，R(D)=n R，从而。（≥，＝，≤）(答案：=) 3、设X为离散无记忆信源，则对任意的R R，必存在一个（2， n）码，使Ed（X，）__ _D。（≥，＝，≤）(答案：) 4、设X～，失真测度为 d ( 0 , 0 ) = d ( 1, 1 ) = 0 , d ( 1 , 0 ) = 1 , d ( 0 , 1 ) = ，则率失真函数R(D)=______。 R=) 3.设一对随机变量的联合分布为，则定义的联合熵为 5.设的联合分布为，则 8.如果构成马氏链，则 = 。 10.设随机变量，定义的阶熵 11.设是满足的半可加数列，则 12.设实数列有极限，则 13. 1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 14. 必然事件的自信息是 015 15. 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码16. 平均错误概率不仅与信道本身的统计特性有关，还与译码规则和编码方法有关。 17. 离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 18. 一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为 19. 信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为无记忆信道。 3.所谓信源是指.消息的来源 4.信息论中用.冗余度来描述信源输出符号携带的信息的有效程度。 5.设……，为无记忆信源，服从公共分布，当码率时，存在码率为的编码，使得当时，误差概率 6.随机过程的随机变量之间相互独立称独立信源或独立信源。 7. 个随机变量的任何进即时码的平均码长应满足 8.哈夫曼编码的优点是编码方便易行效率高 9.设，其中表示.一个词的结束符 10. 中，用表示可利用信息的窗口 12. 为上的减函数。 13. 为的凸函数。 14. 为的连续函数。 15．的可微商定义 18. ，等号成立的充要条件是x和y相互独立 20.信道编码的目的是使译码错误概率在一定的限制下码率达到最大，这个码率的上限就称为信道容量 如果f是一个凸函数，X是取之于x的一个随机变量，E表示数学期望，则 Ef(x)（ ）f(EX)。（≥） 信源的输出称为（ ）。 信源的输出通常是（ ）。 当,，… ，，… 为相互独立的随即变量序列，且服从相同分布。（=x）=P(x), x∈χ，对任意i成立，称它为（ ）。 码字字母取值于D进字母集的即时码，其码字长分别为，，...，时必须满足（ ）。 计时码一定是唯一可译码，但反之不然。 x为一信源字母集，其字母个数为N，f是一等长编码映射，则无错编码的码率至少为（　）。 每个信源字母编码所需比特数以概率收敛到（　）。 10. 信道编码(f,g)的编码速率定义为( )。 11. 信道编码的目的是要使译码错误概率 在一定限制下使码率R达到最大，这个码率的(　)就称信道容量。 12.对于对称信道，C=（　）。 13.离散无记忆信道的信道容量C（ ）0。(=，=)。 15. 率失真函数（D）为[0, ）上的凸函数，即对任意的，0和01，则（ ）。 16. 失真率函数D（R）是给定码率（压缩率）R条件所能达到的（ ） 19. X和Y的互信息I(X;Y)有I(X;Y)0的性质,其中等号成立的充要条件是( )。 20.高斯信源的失真率函数为( )。 3. 消息4. 随机的，不确定的，且服从一定的统计规律5. 无记忆信源