信息论基础-高等教育-叶中行.pptx

信息论基础; 绪论 第1章 随机变量的信息度量 第2章 随机过程的信息度量和渐近等分性 第3章 数据压缩和信源编码 第4章 数据可靠传输和信道编码 第5章 限失真信源编码和率失真函数 第6章 连续信源和信道编码理论 ;绪论;信息论研究的主要内容;;3. 信道 信息传输和存储的媒介;第1章 随机变量的信息度量;§1.1 自信息;;自信息满足的公理;;;§1.2 熵、联合熵、条件熵;;;;;;;;;;;§1.3 相对熵和互信息;;;;;;;;;;§1.4 信息量的一些基本性质;;;;;;§1.5 广义熵;;;;;;;习题课;;;;;;;;;;;;;第2章 随机过程的信息度量和渐近等分性;;§2.1 信源和随机过程的基本概念;信源分类;无记忆信源 有记忆信源 平稳或遍历信源 马氏信源 高斯信源;随机过程;;随机过程数学定义;;随机过程分类;严平稳过程;;宽平稳过程;;;;;解： ;;解： ; ; ;;;;;;;§2.2 随机过程的信息度量;;;;§2.3 渐近等分性质;;§2. 4信源编码定理;§2.5 Shannon-McMillan-Breiman定理;;;第3章 数据压缩和信源编码;信源编码：以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。即同样多的信息用较少的码率传送，