第七章-信源与信源编码.pdfVIP

第七章 信源和信源编码  信源分类  通信的信息论基础 信息熵、互信息 无失真离散信源编码 信息率失真函数 限失真信源编码  连续信源的限失真编码、PCM原理 采样定理 Hailiang Xiong Shandong University 1 7.2 信息及其度量 通信的目的：信息传递。 1. 信息的含义：消息是信息的具体表现形式，信息是本质的、抽 象的内容。  信息是消息中的不确定内容（不确定性越大，则包含的信息越多）  通常理解：事件发生的可能性越大，信息量越少；反之，信息量越大。  信息是消息中的不确定性的描述。 2. 信息的定量描述：信息量  若干独立信息之和的信息量是所含信息量的线性叠加，具有相加性。 Hailiang Xiong Shandong University 2 信源的统计特性描述 信源的分类：不同的信源输出的消息的随机性质不同，可以根据消息 的不同的随机性质来对