- 5
- 0
- 约1.13千字
- 约 2页
- 2023-03-15 发布于内蒙古
- 举报
试探信息理论基石——24条命题及其推论
信息论中最基本的原则是 Shannon 提出的24 条不等式,它们既包括有关于熵、熵率、复杂度等概念,又对应到基本的编码和信道定理。下面就24条命题及其推论做一个简单介绍:
(1)信息熵:如果一个信号的信息源的可能状态数为n,那么其信息熵可表示为H(X)= log2n,其中log2 是以2为底的对数。
推论1:信息熵是源本身状态的函数,也就是说,当信号的可能状态增加或者变为无限多时,熵也会相应增加。
(2)均匀概率:如果每个可能状态出现的概率都一样,那么熵可以表示为 H(X)=-p log2p,其中p代表每个可能状态出现的概率。
推论2:均匀概率可以减少信息熵,也就是说,当每个可能状态出现的概率均匀下降时,信息熵会相应降低。
(3)期望最小熵:将n个概率分别记作p1, p2, .., pn,那么该信号源的期望最小熵为:Hmin(X)=-Σ pi log2pi,其中Σ pi=1。
推论3:期望最小熵不仅受到信号源的概率分布的影响,也受到信号源的总的可能状态的影响。
(4)熵率:如果我们把信号源的期望最小熵定义为信号源的最佳信息熵,那么该信息源的熵率可以定义为信息源的真实熵与最佳信息熵之比。
推论4:熵率表示信息源的可用信息量,它越接近1,说明该信号源的可用信息量越多,反
您可能关注的文档
最近下载
- 2019款林肯航海家_汽车使用手册用户操作图解驾驶指南车主车辆说明书电子版.pdf
- 2024地沟及盖板图集24J331.pdf
- 南京浦口区汤泉街道总体规划2017-2035-江北新区.PDF VIP
- 人教版高考英语一轮复习必修第3册UNIT2 MORALS AND VIRTUES课件.ppt VIP
- (完整word版)宏观经济学试题库及参考答案-(2).doc VIP
- IPG激光器YLR-K 说明书.pdf VIP
- 股骨粗隆间骨折.ppt VIP
- 近现代国际关系史第九讲第一次世界大战.pptx VIP
- 近现代国际关系史第十讲 凡尔赛-华盛顿体系的建立.ppt VIP
- 近现代国际关系史第二讲第三节 俄罗斯的强国之路(上).ppt VIP
原创力文档

文档评论(0)