416353$happysmart$信息论基础-高等教育出版社-叶中行new.ppt

信息论基础 主讲教师：张瑞娟 绪论 第1章 随机变量的信息度量 第2章 随机过程的信息度量和渐近等分性 第3章 数据压缩和信源编码 第4章 数据可靠传输和信道编码 第5章 限失真信源编码和率失真函数 第6章 连续信源和信道编码理论 绪论 信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学 研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学 研究可能性和存在性问题，为具体实现提供理论依据 第1章 随机变量的信息度量 §1.1 自信息 §1.2 熵、联合熵、条件熵 §1.3 相对熵和互信息 §1.4 信息量的一些基本性质 §1.5 广义熵 习题课 §1.1 自信息 信息：通信领域指通信的消息；信号处理方面指包括了数字、数据、图像、语音等进行运算和处理所需的条件、内容和结果 信源：消息的来源。 信源的分类：离散信源和连续信源 信源的表示方法：用随机变量X表示一个离散信源，X的可能取值，即信源可能输出的不同符号用集合χ表示 自信息：信源发出的某个信号所含的信息量，记为 自信息与信号发