信息理论基础试题综合.docVIP

信息理论基础试题综合 简答题 1.画出通信系统的基本模型。 2.简述信息的概念及特点。 3.说明信息、消息及信号三者之间的联系与区别。 4.叙述数据处理定理的内容及其意义，并给出简要证明。 5.简述香农第一定理。 6.结合本人的具体学习情况，谈谈学习信息理论课程的体会。 证明题 1.对离散信源X，设，证明：，并给出等式成立的条件。 （当且仅当对于所有概率不为0的，是一一对应的映射时，等号成立） 2.对于离散随机变量，证明。 3.证明：当时，新信源X的符号集的概率分布趋于（等概分布）。 证明：由香农第一定理知 显然当时 此时信息传输率（*） 而编码后原信源变换成一个新信源 新信源的信道容量，且在输入信源等概率分布时达到此信源容量。 那么由（*）式知，经Huffman编码后，信息传输率在时达到信道容量，那么很容易推出此时的信源趋于等概分布，即：。 计算题 1.对于一个离散的二进制信道，信源消息集为，信宿消息集为，且，信道传输概率，。 求：（1）； （2）； （3）平均互信息量； （4）信宿收到后，所提供的关于传输消息X的平均条件互信息量。 2.有一个二阶二进制马尔可夫信源，其信源符号集为，条件概率为 信源输出序列为，已知初始状态分布为 求：（1）极限熵；（2）状态分布；（3）联合熵。 设信道矩阵为， （1）若，，，求、和； （2）求信道容量C及其最佳的输入概率分布。 3.有一个一阶平稳马尔可夫链，取值集合，已知初始概率 ，，，其转移概率如下： j i 1 2 3 1 1/2 1/4 1/4 2 2/3 0 1/3 3 2/3 1/3 0 求：（1）联合熵；（2）极限熵；（3）计算，， ，并说明结果是否与平稳信源熵性质矛盾。 4.求出给定信道的信道容量C和达到信道容量C时的输入分布。 （1）信道矩阵为 （2）信道矩阵为 （3）信道矩阵为 5.计算下列信道的信道容量。 ，其中 6.设离散信源为 ，设码符号集为。 （1）求和信源剩余度。 （2）对S用Huffman码进行编码，写出代码组，计算平均码长、编码效率和码方差。 （3）对S的三次无记忆扩展信源用Huffman码和Fano码进行编码，写出代码组，计算平均码长、编码效率和码方差。 （4）对于问题（3）编码后的信源X，写出其概率空间。 7.设离散无记忆信源为，通过下面二进制信道传输 = （1）计算采用最佳译码规则时的平均错误译码概率。 （2）信道编码采用三次简单重复编码方式，计算采用最佳译码规则时的平均错误译码概率。 8.有一个离散无记忆信源S，典型输出序列为101111011101111011110111101111，通过下面二进制离散无记忆信道传输 （1）计算信源直接和信道连接时的信息传输率，以及信道利用率R/C。 （2）对信源的三次扩展信源进行方差最小的Huffman编码，码符号集为，写出编码过程，计算平均码长和码长方差。 （3）写出编码后新信源X的概率空间，计算信道利用率R/C；写出上面给出的信源典型输出序列采用三次扩展并进行方差最小的Huffman编码后的输出序列。 9.对于由4个字母构成的离散无记忆信源，有两个码组A和B，如下表所示： 信源符号 概率 码组A 码组B A1 0.4 1 1 A2 0.3 01 10 A3 0.2 001 100 A4 0.1 0001 1000 其中，唯一可译码是： A、B ；即时码是： A ；对于码A，其平均码长是 2 ；对于码B，其信息传输率是；若此两种码通过无噪一一对应信道，对于码A，收到第一位码符号为“1”时，获得关于A1的信息量是： 0 ，对于码B，收到第一位码符号为“1”时，获得关于A1的信息量是：。 10.设离散无记忆信源为，接收符号集合为，失真矩阵为。求，时的转移概率矩阵。