信息率失真函数及信源编码定理的应用.docVIP

《信息论与编码》课程自学报告 题 目： 信息论与编码自学报告 学 号： 姓 名： 任课教师： 联系方式： 二零一四 年 2 月 15 日 自学内容阐述 1.1 信息率失真函数 1.1.1 失真函数与平均失真度 失真函数：设离散信源概率分布为： 经信道传输后输出序列为: ，对任一 指定一个非负数 称为单个符号的失真度（或称失真函数）。失真函数用来表征信源发出一个符号，而在接收端再现成符号所引起的误差或失真。d越小表示失真越小，等于0表示没有失真。 可以将所有的失真函数排列成矩阵的形式： 平均失真度：由于和都是随机变量，所以失真函数也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真度，记为 1.1.2 信息率失真函数的定义 由于互信息取决于信源分布和信道转移概率分布，当信源的分布概率已知时，互信息I是关于p(bj/ai) 的下凸函数，存在极小值。该最小的互信息就称为信息率失真函数R(D)： 对于离散无记忆信源，R(D)可以写成： 1.1.3 信息率失真函数的性质 率失真函数的定义域： 。允许失真度D的下限可以是零，即不允许任何失真的情况。 率失真函数对允许平均失真度的下凸性：设 为任意两个平均失真，，则有： 率失真函数的单调递减和连续性：由信息率失真函数的下凸性可知， R(D)在上连续。又因为R(D)函数的非增性且不为常数， R(D)是区间上的严格单调递减函数。 1.2 离散信源的信息率失真函数 1.2.1 离散信源信息率失真函数的参量表达式 给定信源概率和失真函数,就可以求得该信源的R(D)函数。它是在保真度准则下求极小值的问题。但要得到它的显式表达式,一般比较困难。通常用参量表达式。即使如此,除简单的情况外实际计算还是困难的,只能用迭代逐级逼近的方法。 用拉格朗日乘子法求解，并用S作为参量来表述率失真函数R(D)和失真函数D(S)的R(S)函数：，S就是R(D)函数的斜率。 1.2.2 二元及等概率离散信源的信息率失真函数 二元离散信源，当失真函数为对称失真函数，S与D的显式表达式为：,信息率失真函数的显式表达式为：，上式右边第一项是信源熵，第二项是因容忍一定的失真而可能压缩的信息率。若令D=0和，可以验证。 推广至N源等概率信源，S与D的显式表达式为：，R(D)函数的显式表达式为：，左式第一项是等概率信源的熵，后两项则是由于容忍一定失真可以压缩的信息率。 1.3 保真度准则下的信源编码定理 设R(D)为一离散无记忆信源的信息率失真函数，对于任意允许平均失真度,当。只要信源序列长度L足够长，一定存在一种信源编码C，使译码后的平均失真度为：,则无论用什么编码方式，必有。由于R(D)为给定D前提下信源编码可能达到的下限， 所以香农第三定理即说明了：达到此下限的最佳信源编码是存在的。 信源编码理论在雷达目标识别中的应用 2.1 目标识别的必要性 雷达是军事信息系统中的传感器,具有判断目标真伪、类别、威胁等级的功能。目标识别是指从回波中提取信息并判断目标属性的技术。 雷达信息流程呈链式如图1所示。 图1 雷达信息流程 从信息传送流程看看,由于空中目标的多样性和战场环境的复杂性,信息量非常之大。对特征属性( 机型、类别等) 的信息传输与处理只有在源头运用信源压缩理论,才能适应特征信息的适时、高速、大容量的要求,减少信道及后续处理系统可能的信息堵塞,完成对目标的正确识别。 2.2 信源压缩方法 首先应用多重变换的方法从大量目标回波中提取有用信息, 进而归一化处理,建立目标模型库、信息库,最后从待识别的目标中提取特征信息(图2),与信息库中的特征作相似性匹配,并按一定准则分类、识别。 图2 多重变换识别模型 单个雷达站的单部雷达对空中i批目标处理框图如图 3 所示,经过处理后的目标特征信息由原来的一系列随距离、方位、高度、速度、环境变化的时间、空间信号，压缩变成一个信符代码，随目标基本参数共同输出,供上级指挥观测, 极大地提高了信源编码的有效性。 图3 单部雷达对空中i批目标处理框图 雷达网由多部雷达组成,可视为多个系统并联,其总容量必