《信息论与编码原理》孟放-第二章及第三章作业讲解 - 2016 - 打印版.pdfVIP

主要内容  作业要求  作业讲解 信息量求解 第二章、第三章 证明类 信源 作业讲解和习题分析 信道 2 作业要求 题目类型  作业要求 信息量求解  解题中出现的符号都需要定义  自信息、互信息、平均自信息、平均互信息  概率空间的表示：单变量、多变量（表格/ 信源类 矩阵） 信源熵！  之前的批注错误请仔细理解！ 单符号、无记忆扩展、平稳信源、马尔可夫信源  步骤完整，关键过程不能省略！ 信道类  以“信息量求解为例” 1. 确定求解的是哪类信息量：事件/变量 传输量：实际传输、最大传输 2. 概率（概率空间）的求解– 必需 单符号传输、串联信道 3. 代入公式、求解 证明题 4. 最后结果要计算出来 熵间性质、教材/课件已推导结论可以直接使用。 5. 单位 3 4 信息量求解：信息的统计度量 作业讲解  自信息和互信息  常见错误  具体/确定的某个事件；I ；单位  解题思路不清；没有过程；  平均自信息（熵）  变量/事件定义要清晰，注意前后逻辑性；  随机变量，对应一个概率空间；H ；单位 熵函数的写法，及约束条件  关于单位：没有单位、或单位与计算中所  熵的求解和基本性质 用对数不一致、单位错误等问题； 熵函数的表达式H(p , p , ……, p )  关于计算：需要算出最后结果；避免简单 1 2 q  平均互信息求解和基本性质 - I(X ; Y) 错误；  随机变量之间；求解多通过熵间的关系；  四个基本公式要分清  各类熵之间的关系（维拉图）  能画出维拉图，并熟记各种熵，以及与平均互  符号的定义：大写、小写、一般字母、下 信息的关系。