《信息论与编码基础》课件 5-熵的基本性质.ppt

《信息论与编码基础》课件 5-熵的基本性质.ppt

§2离散信源§2.1离散信源的信息熵§2.2熵的基本性质§2.3信源的相关性与剩余度

§2.2熵的基本性质1.非负性2.确定性3.对称性(i1,…iq)为(1~q)任意排列4.扩展性习题——确知信源熵为0

§2.2熵的基本性质3.对称性例:分别计算下列信源熵:雪雪晴晴冰冰红兰绿

§2.2熵的基本性质1.非负性2.确定性——确知信源熵为03.对称性(i1,…iq)为(1~q)任意排列——熵只与随机变量的总体结构有关4.扩展性——极小概率事件对熵几乎无影响习题

5.熵的链式法则§2.2熵的基本性质

若X和Y统计独立,则熵的强可加性熵的可加性进一

文档评论(0)

1亿VIP精品文档

相关文档