《信息论与编码原理》孟放-第二章及第三章作业讲解 - 2016 - 单页.pdfVIP

第二章、第三章 作业讲解和习题分析 主要内容  作业要求  作业讲解 信息量求解 证明类 信源 信道 2 作业要求  作业要求  解题中出现的符号都需要定义  概率空间的表示：单变量、多变量（表格/ 矩阵）  之前的批注错误请仔细理解！  步骤完整，关键过程不能省略！  以“信息量求解为例” 1. 确定求解的是哪类信息量：事件/变量 2. 概率（概率空间）的求解– 必需 3. 代入公式、求解 4. 最后结果要计算出来 5. 单位 3 题目类型 信息量求解  自信息、互信息、平均自信息、平均互信息 信源类 信源熵！ 单符号、无记忆扩展、平稳信源、马尔可夫信源 信道类 传输量：实际传输、最大传输 单符号传输、串联信道 证明题 熵间性质、教材/课件已推导结论可以直接使用。 4 信息量求解：信息的统计度量  自信息和互信息  具体/确定的某个事件；I ；单位  平均自信息（熵）  随机变量，对应一个概率空间；H ；单位 熵函数的写法，及约束条件  熵的求解和基本性质 熵函数的表达式H(p , p , ……, p ) 1 2 q  平均互信息求解和基本性质 - I(X ; Y)  随机变量之间；求解多通过熵间的关系；  各类熵之间的关系（维拉图）  能画出维拉图，并熟记各种熵，以及与平均互 信息的关系。 5 作业讲解  常见错误  解题思路不清；没有过程；  变量/事件定义要清晰，注意前后逻辑性；  关于单位：没有单位、或单位与计算中所 用对数不一致、单位错误等问题；  关于计算：需要算出最后结果；避免简单 错误；  四个基本公式要分清  符号的定义：大写、小写、一般字母、下 标等。 6 一般求解步骤  难点：理解文字内容，转化成对应的符号公式！  关键：确定求解的是自信息、互信息、平均自 信息、平均互信息？  根据题目要求，列出对应的公式；  自信息和互信息- 事件定义，对应概率求解  平均自信息- 定义随机变量，列出对应的概率空 间  平均互信息– 定义随机变量，求解对应的概率空 间，通过熵间关系求解 7 三道练习题（1）  某校入学考试中有25%考生被录取。被录取的考生中有 50%来自本市，而落榜考生中有25%来自本市。所有本