信息论基础1答案.pdfVIP

《信息论基础》答案 一、填空题（本大题共 10 小空，每小空 1 分，共 20 分） 1. 按信源发出符号所对应的随机变量之间的无统计依赖关系， 可将离散信源分为有 记忆信源和无记忆信源两大类。 2. 一个八进制信源的最大熵为 3bit/ 符号 x 1 x 2 x 3 X 3. 有一信源 X，其概率分布为 1 1 1 ，其信源剩余度为 94.64%；若 P 2 4 4 对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。 4. 若一连续消息通过放大器，该放大器输出的最大瞬间电压为 b，最小瞬时电压为 a 。若消息从放大器中输出，则该信源的绝对熵是 ；其能在每个自由度熵的最大熵是 log （b-a ）bit/ 自由度；若放大器的最高频率为 F，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s. 5. 若某一 信源 X，其平均功率受限为 16w，其概率密度函数是高斯分布时，差熵 1 的最大值为 log32 e ；与其熵相等的非高斯分布信源的功率为 16w 2 6 、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7 、无失真信源编码的平均码长最小理论极限制为信源熵（或 H(S)/logr= H r (S) ）。 8 、当 R=C或（信道剩余度为 0）时，信源与信道达到匹配。 9 、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“ , , , ”或“ ” （1）当 X 和 Y 相互独立时， H （XY）=H(X)+H(X/Y) 。 （2 ）假设信道输入用 X 表示，信道输出用 Y 表示。在无噪有损信道中， H(X/Y) 0, H(Y/X)=0,I(X;Y)H(X) 。 二、掷两粒骰子，各面出现的概率都是 1/6 ，计算信息量： 1. 当点数和为 3 时，该消息包含的信息量是多少？ 2. 当点数和为 7 是，该消息包含的信息量是多少？ 3. 两个点数中没有一个是 1 的自信息是多少？ 解： 1.P （“点数和为 3 ”）=P （1,2 ）+ P （1,2 ）=1/36+1/36=1/18 则该消息包含的信息量是： I=-logP （“点数和为 3”） =log18=4.17bit 2.P （“点数和为 7 ”）=P （1,6 ）+ P （6,1 ）+ P （5,2 ）+ P （2,5 ）+ P （3,4 ）+ P （4,3 ）=1/36 6=1/6 则该消息包含的信息量是： I=-logP （“点数和为 7”） =log6=2.585bit 3.P （“两个点数没有一个是 1”）=1-P （“两个点数中至少有一个是 1”） =1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36 则该 消 息 包 含 的信息 量 是 ： I=-logP （“两个 点 数 中 没 有 一 个是