信息论与编码概念总结.docxVIP

第一章 通信系统的基本模型: 信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等 第二章 １.自信息量：一个随机事件发生某一结果所带的信息量。 ２.平均互信息量：两个离散随机事件集合 X 和 Y，若其任意两件的互信息量为I（Xi;Yj），则其联合概率加权的统计平均值，称为两集合的平均互信息量， 用 I（X;Y ）表示 ３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信源的剩余度。信源熵的相对率(信源效率)：实际熵与最大熵的比值 信源冗余度： H ? ? H ? 0 ? ? 1 ? ? 意义：针对最大熵而言，无用信息在其中所占的比例。 ３.极限熵： 平均符号熵的 N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。 表示多符号消息平均每符号对外提供的信息量４.平均符号熵： 表示多符号消息平均每符号对外提供的信息量 H ( X N )  有记忆  ? H ( X  N ) 无记忆 即 H ( X ? H ( X N N ) ? NH ( X ) N ) ? H ( X ) 定义： H ? N H ( X N N ) 称为平均符号熵。 ５.离散信源和连续信源的最大熵定理。离散无记忆信源，等概率分布时熵最大。 连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受限时，高斯分布的熵最大。 均值受限时，指数分布的熵最大 ６.限平均功率的连续信源的最大熵功率： 若一个连续信源输出信号的平均功率被限定为 p ，则其输出信号幅度的概率密度 分布是高斯分布时，信源有最大的熵，其值为 1 log 2? ep .对于 N 维连续平稳信源来说， 2 若其输出的 N 维随机序列的协方差矩阵C 被限定，则 N 维随机矢量为正态分布时信源 的熵最大，也就是 N 维高斯信源的熵最大，其值为 1 log | C | ? N log 2? e 2 2 原理图离散信源的无失真定长编码定理： 离散信源无失真编码的基本原理 原理图 说明： 信源发出的消息：是多符号离散信源消息，长度为 L,可以用 L 次扩展信源表示为： XL=(X X ……X ) 1 2 L 其中，每一位X 都取自同一个原始信源符号集合（n 种符号）： X={x ，x ，…x } i 则最多可以对应nL 条消息。 1 2 n 信源编码后，编成的码序列长度为 k,可以用 k 次扩展信宿符号表示为： 1 2 kYk=(Y Y ……Y ) 1 2 k i其中，每一位Y 都取自同一个原始信宿符号集合： i 1 2 mY={y ，y ，…y } 又叫信道基本符号集合（称为码元，且是m 进制的） 则最多可编成mk 个码序列，对应mk 1 2 m 定长编码：信源消息编成的码字长度k 是固定的。对应的编码定理称为定长信源编码定理。 变长编码：信源消息编成的码字长度k 是可变的。 离散信源的最佳变长编码定理 i最佳变长编码定理：若信源有n 条消息，第i 条消息出现的概率为p ，且 i p =p =…=p ，且第i 条消息对应的码长为k ，并有 k =k =…=k 1 2 n i 1 2 n 即：把经常出现的消息编成短码，不经常出现的消息编成长码。这样可使平均码长最短，从而提高通信效率，代价是增加了编译码设备的复杂度。 k ? ?n p k 最小 i i 在不等长i?1码字组成的序列中，要正确识别每个长度不同的码字的起点就比等长编码复杂得多。 第三章 信道容量的概念及用途： 最大的信息传输速率为信息容量 信道的功能：以信号形式传输和存储信息 信道编码定理： 若有一个离散无记忆平稳信源，其容量为C，输入序列长度为L，则只要传输的信息速度 RC 则总可以找到一种编码，使当L 足够大时，得到的译码错误概率 反之，若 RC 时， 则无论采用何种编码，必然会有译码差错 第四章 保真度准则下的信源编码定理：设有某一信源的信息率失真函数为R(D)，选择有限的失真函数d，对于任意允许的平均失真度D，当压缩后的信息率 RR(D)则一定存在某种信源编码方法，使译码后的平均失真度=D 反之，若压缩后的信息率 RR(D)则无论用什么编码方法，必有译码后的平均失真=D 信息率失真函数的概念及应用：给定信源和失真函数，要使信源的平均失真 (D 为给定的失真上限)，则需找到某个信道（满足一定的信道转移概率分布或转移概率密度函数），使在该信道（称为试验信道）上传输的信息速率达到最小，这个最小的信息速率称为信息率失真函数，记作 R(D)。 信息率失真理论是量化、数模转换、频带压缩和数据压缩的理论基础。 信道容量