信息论课件第三章.pptVIP

第3章 信息率失真函数 3.1失真测度 3.2 离散信源信息率失真函数 3.3 连续信源的信息率失真函数 3.1失真测度 3.1.1 失真函数与平均失真度 定义： 3.2 离散信源信息率失真函数 3.3 连续信源的信息率失真函数 * * 清华大学出版社 第3章 信息率失真函数 清华大学出版社 第3章 信息率失真函数 为信源发送的单个消息的失真函数或失真度、失真测度。 失真矩阵 表示为： (3-4) 清华大学出版社 第3章 信息率失真函数 失真函数具有以下基本性质 ： (1)当 i=j 时， 。 (2)当 时， 。 (3) 。 (4) ＜∞ 。 平均失真度 的定义: 失真函数的数学期望 。 (3-7) 清华大学出版社 第3章 信息率失真函数 最大允许平均失真度 的定义： 所有消息的平均失真度 的限定值，即 消息序列的失真函数的定义： (3-8) (3-9) 清华大学出版社 第3章 信息率失真函数 所有消息序列所造成的平均失真度为： 保真度准则定义为： (3-10) (3-11) 清华大学出版社 第3章 信息率失真函数 3.1.2 信息率失真函数的定义 信息率失真函数 定义为： 离散无记忆信源的 次扩展序列信源的信息率失真函数 定义为： 信息率失真函数的逆函数——失真率函数 定义为： (3-13) (3-14) (3-15) 清华大学出版社 第3章 信息率失真函数 3.2.1 信息率失真函数的性质： 1． 的定义域 信源的最小平均失真度为： 信源的最大平均失真度为： (3-16) (3-19) 清华大学出版社 第3章 信息率失真函数 2． 是 的下凸函数 。 根据下凸函数的定义，设 和 是任意两个平均失真度，对于任一 ， 0＜ ＜1，有 ： 3． 在 区间是连续和严格递减函数。 3.2.2 信息率失真函数的计算 信息率失真函数 是在最大允许失真 和信源概率分布 已给的条件下，求解平均互信息的极小值问题。 (3-22) 清华大学出版社 第3章 信息率失真函数 【例3-3】 设一个二元等概率平稳无记忆离散信源 ， 经一个有扰信道传输，信宿接收到的离散消息 ，定义 一个失真矩阵 试求其信息率失真函数 。 解：由失真函数 可得对称失真函数图，如图3-3所示： 清华大学出版社 第3章 信息率失真函数 对于离散信源，由式(3-8)可知最大允许失真度 由于失真度 为对称性， 亦为对称性，并由概 率归一性，故可进一步假设转移概率矩阵为： 其中，假设 信道的转移概率。有： 清华大学出版社 第3章 信息率失真函数 将 代入到转移概率矩阵 ，得到： 清华大学出版社 第3章 信息率失真函数 再由概率性质 ，求得信宿端各符号 的概率分布为： 进而可以得到信宿接收的各消息的概率分布为： 清华大学出版社 第3章 信息率失真函数 由此可以得到： 最后可求得： 清华大学出版社 第3章 信息率失真函数 其对称失真函数图下图3-4所示： 清华大学出版社 第3章 信息率失真函数 参量表示法的求解方法： 设有一离散无记忆信源为; (3-23) 发送的消息通过信道传送到信宿为: 信道转移概率矩阵为: (3-24) (3-25) 清华大学出版社 第3章 信息率失真函数 各消息传输的失真矩阵为: (3-26) 式中: 根据概率的性质，有: (3-27) 清华大学出版社 第3章 信息率失真函数 计算 所满足的约束条件为: (3-28) 求解平均互信息为: (3-29) 对 求偏导，并令导数为零，有: (3-30) 清华大学出版社 第3章 信息率失真函数 将式(3-29)代入式(3-30)，两边除以 得: (3-32) 令 ，则有下式成立： (3-33) 根据约束条件(3-28)中的归一化条件，有: (3-34) 将式(3-34)两边乘以 并对 求和，有: 清华大学出版社 第3章 信息率失真函数 所以有: 将式(3-34)代入式(3-36)得: (3-35