信息论基础 第1章.pptVIP

P.* 一 给出统一的通信系统物理模型 第一章 通信与信息系统物理模型 一 给出统一的通信系统物理模型（续） 通信系统详细原理方框图 二 给出各部分描述与度量 （一) 信源 U 取值空间（集合）:UL=U×U×…×U （L维） 其中每一个:U={1,2,…n},n种取值 信源输出:UL=(U1…Ul …UL) 输出样值: uL=(u1…ul …uL) 其中 uL U={1,2,…,n} 对应概率:pUL(uL) = p(u1…ul …uL) 基本参量 1. 无失真信源描述与度量: （一) 信源 U （续） 描述 定义:U = [ UL , p(uL) ]，对于单个离散消息 即L =1时 可简化为:U=[ U , p(u) ] 无失真信源度量: 定义: （一) 信源 U （续） 2. 限失真信源描述与度量 描述:先定义失真函数: d(uL, vL)：UL × VL ----- d(u , v)：U × V ----- 则有:U={ [UL , p(uL)] , [ UL × VL, d(uL,vL) ] } U={ [U , p(u)] , [U × V, d(u,v) ] } 2. 限失真信源描述与度量（续）: 度量:定义一个限失真的信息率失真函数R(D)来代替无失真时的信源熵H(U) . 为了简化，仅讨论单个消息情况: 首先给出信源（宿）的最大允许失真率D,在定义失真为D时，条件转移概率的变化范围为PD。 最后定义: 其中I(U;V) 为U,V间的互信息 , I(U;V) 为U,V间的互信息 I( U,V ) ---------单个消息信源 ---------序列(L个)信源 （二） 信道 C 二 给出各部分描述与度量 （续） 描述信道的三要素: 信道输入集合: （n维） 且 （有限）， 为单消息取值数。 信道输出集合: （n维） 且 （有限）， 为单消息取值数。 信道转移概率: 其中 信道描述如下: （二） 信道 C （续） 输入 输出 定义： 信道度量：定义信道容量值如下：（这里为了简化，仅定义单消息（n＝1）的信道） 二 给出各部分描述与度量 （续） （三） 信宿 V 它的描述完全类似于信源。其度量，无失真用互信息 表示，限失真时用R(D) 函数表示。 （四） 编、译码 码，在数学上可看作是一种映射；（消息空间） 在物理上可看作是一种变换。（消息空间） 即 ——编码 ——译码 若选 即为二元有限域，则称上述码为二元码 二 给出各部分描述与度量 （续） （四） 编、译码 （续） 下面，我们根据通信系统主要技术指标 数量指标——通信有效性 由这三个指标可进一步将编译码 分解为三个子变换： （四） 编、译码 （续） 其中 为有效性的信源编译码； 为安全性的加解密码； 为可靠性的信道编译码。 另外，根据需要也还可划分更多的子变换。 （五） 通信系统S 二 给出各部分描述与度量 （续） 当已知信源U,信宿V,信道C以及编译码(f ,g)时，可给出一个确知的通信系统S. S={U, V, C, (fi , gi)}i=1,2,3… 可以分别表示有效（i=1）、安全（i=2）、可靠（i=3）的单指标优化系统。 通信系统统计特性可表示为 ，即 、 、 、 构成马氏链。 如果编译码方式给定，即 （五） 通信系