信息论与编码 第6讲.pdf

信息论与编码 （第六讲） 目录 第一篇 信息论 第1章 概论（2 ） 第2章 信源及其信息量（12） 第3章 信道及其容量（4 ） 第4章 信息率失真函数（4 ） 第二篇编码理论 第5章 信源编码（4 ） 第6章 信道编码的基本概念（2 ） 第7章 线性分组码（6 ） 第8章 循环码（4 ） 第9章 卷积码（4 ） 2010-3-26 Department of Communication Engineering, NCUT 第2页 第二章 信息熵 本章重点：信源的统计特性和数学模型、各类信源的信息测 度—熵及其性质。 2.1 单符号离散信源 2.2 扩展信源 2.3 连续信源 2.4 离散无失真信源编码定理 2.5 小结 2010-3-26 Department of Communication Engineering, NCUT 第3页 2.3 连续信源 2.3.1 一些基本概念 2.3.2 连续信源的熵 2.3.3 几种特殊连续信源的熵 2.3.4 连续熵的性质 2.3.5 最大连续熵定理 2010-3-26 Department of Communication Engineering, NCUT 第4页 2.3.1 一些基本概念 2.3 (1) 连续信源定义 连 续 (2) 随机过程及其分类 信 源 (3) 通信系统中的信号 (4) 平稳遍历的随机过程 2010-3-26 Department of Communication Engineering, NCUT 第5页 2.3.1 一些基本概念 2.3 (1) 连续信源定义 连 续 连续信源：输出消息在时间和取值上都连续的信源。 信 源 例子：语音、电视等。 连续信源输出的消息是随机的，与随机过程{x (t)}相对应。可 用有限维概率密度函数族描述。 p (x ,x ,…,x ,t ,t ,…,t ) n 1 2 n 1 2 n 返回目录 2010-3-26 Department of Communication Engineering, NCUT 第6页 2.3.1 一些基本概念 2.3 (2) 随机过程及其分类 连 续 ①随机过程 信 源 ②随机过程的分类 2010-3-26 Department of Communication Engineering, NCUT 第7页 2.3.1 一些基本概念 2.3 (2) 随机过程及其分类 连 续 ①随机过程 信 随机过程定义：随机过程{x (t)} 可以看成由一系列时间函数x (t)所组成， 源 i 其中i=1,2,3,…，并称xi(t) 为样本函数。 2010-3-26 Department of Communicati