信息论与编码概念总结.pdfVIP

第一章 1.通信系统的基本模型 : 2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编 码，密码体制的安全性测度等等 第二章 １.自信息量：一个随机事件发生某一结果所带的信息量。 ２.平均互信息量：两个离散随机事件集合 X 和 Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量， 用 I （X;Y ）表示 ３.熵功率： 与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率 。 如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率 相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信 源的剩余度。信源熵的相对率 (信源效率 )：实际熵与最大熵的比值 信源冗余度： H 1