信息论基础试卷(期末A卷.pdf

人之为学，不日进则日退，独学无友，则孤陋而难成；久处一方，则习染而不自觉。——《顾炎武》 《信息论基础》答案 一、填空题（本大题共 10 小空，每小空 1 分，共 20 分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无 记忆信源两大类。 2.一个八进制信源的最大熵为 3bit/符号 x x x  X 1 2 3 3.有一信源 X，其概率分布为  1 1 1 ，其信源剩余度为 94.64% ；若对该信源进     P   2 4 4  行十次扩展，则每十个符号的平均信息量是 15bit。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为 a。若消息从放 大器中输出，则该信源的绝对熵是 ；其能在每个自由度熵的最大熵是log （b-a ）bit/ 自由度；若放大 器的最高频率为 F ，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s. 5. 若某一 信源 X ，其平均功率受限为 16w，其概率密度函数是高斯分布时，差熵的最大值为 1 log 32e ；与其熵相等的非高斯分布信源的功率为16w 2 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H (S)）。 r 8、当R=C 或 （信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 , , ,  10、在下面空格中选择填入数学符号 “ ”或“ ” （1）当 X 和 Y 相互独立时，H （XY）=H(X)+H(X/Y)。 （2 ）假 设 信 道 输 入 用 X 表 示 ，信 道 输 出用 Y 表 示 。在 无 噪有 损 信 道 中 ，H(X/Y) 0, H(Y/X)=0,I(X;Y)H(X) 。 二、掷两粒骰子，各面出现的概率都是 1/6，计算信息量： 1.当点数和为3 时，该消息包含的信息量是多少？2.当点数和为 7 是，该消息包含的信息量是多少？ 3.两个点数中没有一个是 1 的自信息是多少？ 解：1.P （“点数和为3”）=P （1,2）+ P （1,2）=1/36+1/36=1/18 好学近乎知，力行近乎仁，知耻近乎勇。——《中庸》 穷则独善其身，达则兼善天下。——《孟子》 则该消息包含的信息量是：I=-logP （“点数和为3”）=log18=4.17bit 2.P （“点数和为7”）=P （1,6）+ P （6,1）+ P （5,2）+ P （2,5）+ P （3,4）+ P （4,3）=1/36 6=1/6 则该消息包含的信息量是：I=-logP （“点数和为7”）=log6=2.585bit