信息理论和编码基础复习题.docVIP

信息理论与编码基础复习题 1.从通信的实质意义来讲，如果信宿收到的消息是已知的，则等于没有收到任何消息。 2.当一个信源中所有的符号消息为等概时，该信源的熵最大。 3.即时码一定是单义可译码。 4.不使用间隔即可区分码字，就必然要求码字具有惟一性。 5.噪声熵为0的信道称为确定信道。 6.从通信的实质意义来讲，人们对消息中所包含的未知成分更感兴趣，用概率论的术语来说，就是具有不确定性的成分。 7.当两个集合相互独立时，它们的共熵最大。 8.等长码都是即时码。 9.无记忆离散信源发出的各个消息符号是相互独立的，即信源发出的符号序列中的各个符号之间没有关联性，各个符号的出现概率统计独立。 10.定长非奇异码肯定是惟一可译码。 11.消息中未知的或不确定的成分，通常被称为消息中所包含的信息，而消息的传递需要由信号来载荷。 12.代码组集合中的所有代码组都包含相同个数的码元的编码称为等长码。 13.信源编码器的主要任务是完成输入消息集合与输出代码集合之间的映射。 14.译码时不需要考察后续码元，称之为即时码。 15.在即时码中，任何一个码字都不是其他码字的延长。 16.通信系统的任务是将信源的消息有效可靠地传送到信宿。 17.在通信系统中，人们习惯于将通信分为数字通信和模拟通信，其实质亦是根据信源消息是数字还是模拟来划分的。 18.信源能够用随机过程来建模，从描述信源消息的随机过程的平稳性角度，信源可以分为平稳信源和非平稳信源，也可以按随机过程的类别将其分为高斯信源和马尔可夫信源等。 19.文本信源和语音信源都是针对人类语言、文字、声乐等感知的，又通称为自然语信源。 20.若信源发出的消息是由K个离散符号构成的符号序列，且各个消息相互统计独立，则称这种信源为发出符号序列消息离散无记忆信源。 21.若单符号离散无记忆信源的信源空间为[X(P]，对其进行K重扩展得到符号序列X=X1 X2 … Xk，则称扩展后的信源为离散无记忆信源[X(P]的K重扩展信源，记为XK。 22.研究信源最主要的目的是为信源编码服务。 23.当信息量单位用比特、时间单位为秒时，信息传输速率的量纲为比特/秒. 24.对信源的分类可以有多种方法，主要基于两方面的考虑。一是信源消息取值的集合以及消息取值时刻的集合；二是信源消息的统计特性。 25.信道是传递消息的通道，广义上是指从信源到信宿间传递物理信号的媒质和设施。 26.从信息传输的角度来讲，研究信源主要是研究其输出的消息，简称信源消息。 27.信源消息中的信息是一个时变的不可预知的函数，因此，描述信源消息或对信源建模，随机过程是一个有效的工具。 28.根据人们对信源消息的感知情况将其分为数据信源、文本信源、语音信源、图像信源等。 29.若信源发出N个不同符号x1，x2，…，xi，…，xN ，分别代表N种不同的消息，各个符号的概率分别为P1，P2，…，Pi，…，PN且相互统计独立，则称这种信源为单符号消息离散无记忆信源。 30.若信源发出的消息是由K个离散符号构成的符号序列，且各个消息相互统计相关，则称这种信源为发出符号序列消息离散有记忆信源。 31.信源编码的目标是用尽可能少的码元符号或尽可能低的数据速率来表示信源消息。 32.当信息量单位用比特、时间单位为码元（或符号或符号序列等）所占用的时间时，信息传输速率的量纲为比特/码元（或比特/符号、比特/符号序列等）； 33.离散有记忆信源发出的各个消息符号是相互关联的，其记忆性或关联性通常有两种方式来描述。一是用其联合概率来表示，这就是发出符号序列的离散有记忆信源；二是用其条件概率来表示，这就是发出符号序列的马尔可夫信源。 34.为了理解怎样的信源编码才是好的或者说是有效的，首先要能够对信源参数进行测量。 35.最佳编码是无失真信源编码的理想模式。为了达到这个目的，通常需要遵循下面两个原则： （1）对信源中出现概率大的消息（或符号），尽可能用短的代码组（码字）来表示，简称短码，反之用长码。（2）不使用间隔即可区分码字。 36.代码组集合中各代码组所包含的码元个数不相同的编码称为变长码。 37.码字含义的惟一性又称为单义可译性，这样的码字称为单义可译码。 38.译码时要接收多于一个码字所包含的码元才能决定的信源编码，称为非即时码。 39.若在两个代码组之间使用间隔，就会减小信源的信息传输速率，进而降低编码效率。 40.非即时码也可能是单义可译码，这说明单义可译码不一定是即时码。 41.冗余度是衡量信源编码效率的一个物理量，冗余度越低，编码效率就越高。 42.信源编码器输出代码组的信息传输速率与信道容量之比，称为信源编码器的编码效率。即η=R/C×100%，当R=C时，η=100%，这是信源编码的最理想特性，这样的信源编码能最充分地利用信道；当RC时，η100%，说明