信息论与编码习题课新PPT.pptVIP

（7） bit/symbol H(X/Y)= bit/symbol 3-10 一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。 （1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量； （2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？ （3）若信道通频带减小为0.5MHZ时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？ 解：（1） （2） （3） 3-12 有一个二元对称信道，其信道转移概率如下图所示，该信道以1500个二元符号/s的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中p(0)=p(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？ 解：信道容量 由于 为1bit,14000个符号14000bit的信息，传输14000bit的信息需要时间 不能无失真的传输 ， 每个二元符号的信息量 失真函数： 第四章 平均失真： 信息率失真函数R(D)： R(D)函数的定义域： R(D)函数的性质：下凸性、连续性、单调递减性 信息率失真函数与信道容量的比较。 4-1 设有一个二元等概率信源 , ，通过一个二进制对称信道（BSC）。 其失真函数 与信道转移概率 分别定义为 ， 试求失真矩阵d和平均失真 。 解：由题意得， 失真矩阵为d ，信道转移概率矩阵为P 平均失真为 4-3 设输入符号与输出符号X和Y均取值于{0,1,2,3}，且输入符号的概率分布为P(X=i)=1/4,i=0,1,2,3,设失真矩阵为 求 以及相应的编码器转移概率矩阵。 第二章 信源的分类？ 自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法? 冗余度? 具有概率为 的符号 自信息量： 条件自信息量： 平均自信息量、平均不确定度、信源熵： 条件熵： 联合熵： 互信息： 熵的基本性质：非负性、对称性、确定性 2.3 同时掷出两个正常的骰子，也就是各面呈现的概 率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解：(1) (2) (3)两个点数的排列如下： 共有21种组合：其中11，22，33，44，55，66的概率是 其他15个组合的概率是 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 (4)两个点数求和的概率分布如下： (5)包含1的组合：{(1,2),(1,3),(1,4),(1,5),(1,6), (2,1), (3,1),(4,1), (5,1),(6,1),(1,1)} 2.7 设有一离散无记忆信源，其概率空间为 （1）求每个符号的自信息量。 （2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量。 解： 同理可以求得 因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和，就有： 平均每个符号携带的信息量为 bit/符号 2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲 的多少倍？ 解：四进制脉冲可以表示4个不同的消息：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量 八进制脉冲的平均信息量 二进制脉冲的平均信息量 所以，四进制、八进制脉冲所含信息量分别是二进制 脉冲信息量的2倍和3倍。 2-9 国际莫尔斯电码用点和划的序列发送英文字母，划用连续三个单位的电流脉冲表示，点用持续一个单位的电流脉冲表示。其划出现的概率是点出现概率的1/3，计算：（1）点和划的信息量； （2）点和划的平均