信息理論基础试题综合.docVIP

信息理论基础试题综合 简答题 1.画出通信系统的基本模型。 2.简述信息的概念及特点。 3.说明信息、消息及信号三者之间的联系与区别。 4.叙述数据处理定理的内容及其意义，并给出简要证明。 5.简述香农第一定理。 6.结合本人的具体学习情况，谈谈学习信息理论课程的体会。 证明题 1.对离散信源X，设，证明：，并给出等式成立的条件。 （当且仅当对于所有概率不为0的，是一一对应的映射时，等号成立） 2.对于离散随机变量，证明。 3.证明：当时，新信源X的符号集的概率分布趋于（等概分布）。 证明：由香农第一定理知 显然当时 此时信息传输率（*） 而编码后原信源变换成一个新信源 新信源的信道容量，且在输入信源等概率分布时达到此信源容量。 那么由（*）式知，经Huffman编码后，信息传输率在时达到信道容量，那么很容易推出此时的信源趋于等概分布，即：。 计算题 1.对于一个离散的二进制信道，信源消息集为，信宿消息集为，且，信道传输概率，。 求：（1）； （2）； （3）平均互信息量； （4）信宿收到后，所提供的关于传输消息X的平均条件互信息量。 2.有一个二阶二进制马尔可夫信源，其信源符号集为，条件概率为 信源输出序列为，已知初始状态分布为 求：（1）极限熵；（2）状态分布；（3）联合熵。 设信道矩阵为， （1）若，，，求、和； （2）求信道容量C及其