信息论基础-高等教育出版社-叶中行09131new.ppt

2、平均失真度 若已知试验信道的传递概率，则平均失真度为： 若平均失真度 不大于我们所允许的失真D，我们称此为保真度准则。 凡满足保真度准则的这些试验信道称为失真度D允许试验信道。把所有D失真允许的试验信道组成一个集合，用符号 表示。 失真度和平均失真度 例： 求汉明失真的平均失真度 在通信中代表信源值与估计值 不等的概率，汉明失真也称误差概率失真 把保真度准则作为信道转移概率的约束，求信息率R=I(X;Y)的最小值有实用意义 失真度和平均失真度 长度为n的信源符号序列的失真度 失真度和平均失真度 失真度和平均失真度 凡满足保真度准则的这些试验信道称为失真度D允许试验信道。把所有D失真允许的试验信道组成一个集合，用符号 表示。 信息率失真函数及其性质 一、信息率失真函数 当信源和失真函数给定后，我们总希望在满足保真度准则下寻找平均互信息的最小值。也就是在 中找一个信道，使平均互信息取极小值。这个最小值就是在 的条件下，信源必须传输的最小平均信息量。 改变试验信道求平均互信息的最小值，实质上是选择一种编码方式使信息传输率为最小。 1). 2). 3). 当给定信源X及失真矩阵[D]时，信源的最小平均失真度为 信息率失真函数及其性质 二、 信息率失真函数的性质 (1)、 和 信息率失真函数及其性质 1)、R(D)的定义域是 信息率失真函数及其性质 信源的最小平均失真度 允许失真度D的最小值为0，即不允许有失真，这要求失真矩阵中每行至少有一个为0。 R(0)的最小值为H(X)，即信息传输率至少为信源的信息熵 满足最小失真度的试验信道是一个无噪无损信道： 信息率失真函数及其性质 信息率失真函数及其性质 (2) 因为D越大，R(D)越小，最小为0，当D再大时，R(D)也只能为0，此时，发送与接收统计独立，即： 失真度函数变为： 信息率失真函数及其性质 信息率失真函数及其性质 所以， 就是在R(D)=0的情况下，求 的最小值 可以这样选 ，当 最小时，取 等于1，则： 信息率失真函数及其性质 信息率失真函数及其性质 当 时， 而当 时 (3)率失真函数的性质 对应教材p116定理5.1.1 信息率失真函数及其性质 2)、 R(D)函数的单调递减性和连续性 0 D R(D) 信息率失真函数及其性质 二进信源的率失真函数计算 §5.2率失真函数的计算 0 0 0 0 定义4.1.4(弱对称信道) 如果转移概率矩阵的每一行都是其他行的置换，而每列的元素之和相等，称为弱对称信道 其信道容量为 §4.2 信道容量的计算 0 0 1 1 q 1-q 1 §4.3 信道编码理论 §4.4 带反馈的信道模型 信道 编码器E 信道 Q(y|x) 信道 译码器D 无噪反馈 有反馈信道模型 无反馈信道：输出端信号不反馈达到输入端 带反馈信道：输出信号通过一定途径反馈到输入端 联合信源——信道通信模型 信道 编码器 信道 Q(y|x) 信道 译码器 信源 编码器 信源 译码器 §4.5 联合信源——信道编码定理 §4.6 线性分组码 分组码是前向纠错码，它可以在无需重新发送的情况下检测出有限个错码，并加以纠正 一个具有q个元素的有限数域称为Galois场，记为GF(q) 信息组 码字 信息组 码字 000 0000000 011 0111010 001 0011101 101 1010011 010 0100111 110 1101001 100 1001110 111 1110100 任何一个码字可以表示为生成矩阵G的行向量gi的线性组合 第5章 限失真信源编码和率失真函数 信道不可能实现对消息的完全无失真传输 在现实生活中，不要求获得完全无失真的消息，只要求近似再现原消息 允许一定失真，所以对信息率的要求降低 信息率失真理论由香农提出，定义了R(D) 引入失真函数，计算在失真度条件下信息率的极小值 §5.1 限失真信源编码模型和率失真函数 §5.2 率失真函数的计算 §5.3 限失真信源编码定理 信源 信源编码 信道编码 信道 信道译码 信源译码 信宿 干扰 根据信道编码定理，我们可以把信道编码、信道和信道译码等价成是一个没有任何干扰的广义信道，这样收信者收到消息后，所产生的失真只是由信源编码带来的。 §5.1限失真信源编码模型和率失真函数 广义无扰信道 信源 信宿 试验信道 允许失真越大，信息传输率越小；反之，信息率越大 信息传输率与信源编码引起的失真有关 为了定量描述信息传输率