《信息论与编码》PPT第四章.pptVIP

4.1 信息与通信系统的物理和数学模型 4.2 信息与通信系统的单指标优化 * * 第4章 信息与通信系统的优化 4.1 信息与通信系统的物理和数学模型 4.2 信息与通信系统的单指标优化 在信息与通信中，仙农将其概括为下列一般化的物理模型如图4-1-1所示。 图4-1-1通信系统原理图 在上述原理图中，信源、信道、信宿是3个最基本的组成部分，为了实现以上3者之间的统计匹配，还必须引入编码和译码两个部分，这样这5个部分就构成了一个完整的通信系统。 通常，可将信息与通信中的基本问题归纳为3性：有效性、安全性和可靠性。 相对应的编译码也可划分为三个部分： 满足有效性的信源编、译码， 满足安全性的信息加密、解密码， 满足可靠性的信道编、译码。 详细的方框图： 一、 信源(U) 信源是信息的来源，实际信源有语音、文字、图像和数据等，不论哪一类都可以看作一个有限维的随机矢量。 即用L个相同消息的乘积空间表示，且｜U｜L＜∞，其中｜U｜为单个消息的取值个数。其输出为一个L维随机矢量： UL＝(U1…Ul…UL) 对应的样值为： uL＝(u1…ul…uL) 根据信源是否允许失真，可划分为：无失真信源和限失真信源两类。 二、 信道(C) 信道是指载荷信息的信号所通过的通道。在实际通信中，信道是指传输的物理媒介。 比如由明线、电缆等固体介质所组成的有线信道，另外还有空气介质所组成的无线信道，由混合介质所组成的光纤信道等。 类似于对信源的描述，信道则可以引用信道输入、信道输出和信道转移概率3者构成的三元序对描述。 三、 信宿(V) 信宿是信息的归宿，即接收者，它可以认为是信源在某种准则下的复制和再现。 四、 编、译码(f，g) 通信是为了传递信息，为了能在通信系统中更有效、更安全和更可靠地传递信息，为了实现通信系统中的信源、信道、信宿3者之间以及它们与系统之间的统计匹配，我们引入了编、译码。 ①? 编译码是指标优化的重要手段。 ? ② 码的含义： 在物理上它是一种变换与反变换对，是编、译码的简称。 在数学上可看成是两个消息或信号空间上的映射与逆映射对。 设 （编码） （译码） 由映射f与逆映射g构成的对（f,g）称为码，f为编码，g为译码。 ③ 根据系统的三个性能，编译码可进一步分解为三个子变换对，即 表现为下列子映射： 即 五、 信息与通信系统(S) 当给定信源U、信道C、信宿V和编译码(f，g)时，则由它们的组合构成一个确知的信息与通信系统。 如果仅给定某一局部性指标，比如通信的有效性(或安全性，或可靠性)以及在这一指标下通过相应的编、 译码(fi，gi)来寻求实现局部优化的通信系统。 ① 对确知系统可表示为： 仅给定局部性能指标：构成局部优化系统 i=1,2,3 分别构成有效系统、安全系统、可靠系统 * 也可进行两两组合而成。 ② 一般情况下，通信系统也可用联合分布来描述： 即由 、 、 、 构成马氏链。 进一步展开为： ③ 误差的衡量 度量编译码的好坏，引入码（f,g）的误差函数e(f,g)： 对信源与信宿之间的差异，引入三种不同类型的准则： 1）无失真准则： 2）误差准则： 3）平均误差准则： ， 也可写成 可以看出：1） 要求最强，3）最弱。 ????* 优化概念： 系统中的主要参量可以分为两大类型： a. 人为给定或主观上要求达到的参量。如传输速率R，最大失真度D，信道总代价F等。 b. 由信源、信道、信宿本身统计特性所决定的量。如信息熵H（U），率失真函数R（D），信道容量C，容量代价函数C（F），互信息I（U，V）等。 系统优化其物理实质： 就是要研究系统在某种优化指标下，上述两类参数在满足什么条件时对应的编、译码存在； 又在什么条件下，对应的编、译码不存在。 一、 无失真信源编码定理 它是研究在通信系统传输最有效的指标下，讨论无