(完整版)信息论与编码概念总结.docx

第一章 1.通信系统的基本模型 : 2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编 码，密码体制的安全性测度等等 第二章 １ .自信息量：一个随机事件发生某一结果所带的信息量。 ２ .平均互信息量：两个离散随机事件集合 X 和 Y，若其任意两件的互信息量为I（ Xi;Yj），则其联合概率加权的统计平均值，称为两集合的平均互信息量， I（X;Y ）表示 ３ .熵功率： 与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率 。 如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率 相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信 源的剩余度。信源熵的相对率 (信源效率 )：实际熵与最大熵的比值 信源冗余度： H H 1 0 意义：针对最大熵而言，无用信息在其中所占的比例。 ３ .极限熵： 平均符号熵的 N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到 无穷。 .平均符号熵： 表示多符号消息平均每 符号对外提供的信息量 H ( X N ) 有记忆 H ( X N ) 无记忆 即 H ( X N ) NH ( X ) H ( X N ) H ( X ) N 定义： H N  H ( X N ) 称为平均符号熵。 N .离散信源和连续信源的最大熵定理。离散无记忆信源，等概率分布时熵最大。 连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受限时，高斯分布的熵最大。 均值受限时，指数分布的熵最大 ６.限平均功率的连续信源的最大熵功率： 若一个 信源 出信号的平均功率被限定 p ， 其 出信号幅度的概率密度 分布是高斯分布 ，信源有最大的 ，其  1 log 2  ep . 于  N  平 信源来 ， 2 若其 出的  N 随机序列的 方差矩  C 被限定，  N  随机矢量 正 分布 信源 的 最大，也就是  N  高斯信源的 最大，其  1 log | C |  N  log 2 e 2  2 7. 离散信源的无失真定 定理： 离散信源无失真 的基本原理 原理 明： （ 1） 信源 出的消息：是多符号离散信源消息， 度  L, 可以用  L 次 展信 源表示 ：  X L=(X1X2?? XL) 其中，每一位  Xi 都取自同一个原始信源符号集合（  n 种符号）：  X={x  1， x2， ?xn } 最多可以  n L 条消息。 （2）信源 后， 成的 序列 度  k, 可以用  k 次 展信宿符号表示 ： Yk=(Y  1 Y2 ??Yk)  称 字  / 其中，每一位 Yi 都取自同一个原始信宿符号集合： Y={y 1， y2 ，?ym } 又叫信道基本符号集合（称 元，且是 m 制的） 最多可 成 m k 个 序列， m k 条消息 定 ：信源消息 成的 字 度 k 是固定的。 的 定理称 定 信源 定理。 ：信源消息 成的 字 度 k 是可 的。 8. 离散信源的最佳 定理 最佳 定理：若信源有 n 条消息，第  i 条消息出 的概率  pi，且 p1=p 2=? =p n ，且第 i 条消息 的 ki，并有 k1=k 2 =? =k n 即：把经常出现的消息编成短码，不经常出现的消息编成长码。这样可使平均码长最短，从而提高通信效率，代价是增加了编译码设备的复杂度。 n pi ki 最小 1 在不等长码字组成的序列中，要正确识别每个长度不同的码字的起点就比等长编码复 杂得多。 第三章 1. 信道容量的概念及用途： 最大的信息传输速率为信息容量 信道的功能：以信号形式传输和存储信息 2. 信道编码定理： 若有一个离散无记忆平稳信源，其容量为速度 RC 则总可以找到一种编码，使当  C，输入序列长度为 L，则只要传输的信息 L 足够大时，得到的译码错误概率 反之，若  RC  时， 则无论采用何种编码，必然会有译码差错 第四章 1. 保真度准则下的信源编码定理：设有某一信源的信息率失真函数为 R(D) ，选择有限 的失真函数 d，对于任意允许的平均失真度 D，当压缩后的信息率 RR(D) 则一定存在 某种信源编码方法，使译码后的平均失真度 =D 反之，若压缩后的信息率 RR(D) 则 无论用什么编码方法，必有译码后的平均失真 =D 2. 信息率失真函数的概念及应用：给定信源和失真函数，要使信源的平均失真 (D 为给定的失真上限 )，则需找到某个信道（满足一定的信道转移概率分布或转移概率密度函数），使在该信道（称为试验信道）上传输的信息速率达到最小，这