信息论与编码概念总结.docVIP

第一章 1.通信系统的基本模型: 2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等 第二章 １.自信息量：一个随机事件发生某一结果所带的信息量。 ２.平均互信息量：两个离散随机事件集合X和Y，若其任意两件的互信息量为 I（Xi;Yj），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I（X;Y ）表示 ３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信源的剩余度。信源熵的相对率(信源效率)：实际熵与最大熵的比值 信源冗余度： 意义：针对最大熵而言，无用信息在其中所占的比例。 ３.极限熵： 平均符号熵的N取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。 ４.平均符号熵： ５.离散信源和连续信源的最大熵定理。 离散无记忆信源，等概率分布时熵最大。 连续信源，峰值功率受限时，均匀分布的熵最大。 平均功率受限时，高斯分布的熵最大。 均值受限时，指数分布的熵最大 ６.限平均功率的连续信源的最大熵功率： 若一个连续信源输出信号的平均功率被限