信心论期末复习教程.pptVIP

信息论与编码 期末复习 第一章 信源编码 第一章 信源编码 （信息论基础知识） 第一章 信源编码 （信息论基础知识） 第一章 信源编码 （信息论基础知识） 第一章 信源编码 第一章 信源编码 第一章 信源编码 第一章 信源编码 第二章 信道容量和编码 2.3 信道容量 2.4 信道编码 香农三大定理 信道编码 信道编码 第三章 线性分组码 第三章 线性分组码 第三章 线性分组码 伴随式译码 信道编码 第四章循环码 第四章循环码 第四章循环码 信道编码 第六章 卷积码 * * * * 信息论与编码 信息 一个抽象的概念，可以定量的描述。信息、物质和能量是构成一切系统的三大要素。 消息 是信息的载体，相对具体的概念，如语言，文字，数字，图像。 信号 表示消息的物理量，电信号的幅度，频率，相位等等。 广义地说，信息包括一切标准通信媒体的内容。 互信息 I(xi; yj) 自信息 I(xi) 条件自信息 I(xi| yj) 平均 E[ ] 平均互信息 平均自信息（熵） 平均条件自信息（条件熵） 定义1.1 考虑可能输出为xi，i=1, 2, … , n的离散随机变量X 。则事件X= xi的自信息(self-information)定义为： 物理意义：低概率事件意味着高度的不确定性，具有高度不确定性的随机变量带有更多信息。 自信息是非负的， 对数以