(信息论基础)第二章信息量.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 正态分布的信息熵 正态分布的信息熵 信源的数学模型 离散信源 连续信源 离散多符号信源 离散单符号信源 离散无记忆扩展信源 马尔可夫信源 作业 2-2 2-11 2-17 2-19 * * * * * * * * * * * * * * * * * * * * * * * * * * * * 各态历经的马尔可夫信源 由于这是齐次马氏链，所以二步转移矩阵 由于二步转移概率矩阵中无零元素，所以系统具有各态历经性。 各态历经的马尔可夫信源 根据各态历经定理，现把写成矩阵形式 各态历经的马尔可夫信源 结果为： 各态历经的马尔可夫信源 例：质点在两个”吸收壁”之间的随机游动。 各态历经的马尔可夫信源 可以把这种随机游动看作是一个有限平稳的马尔可夫信源 . 各态历经的马尔可夫信源 其n步转移概率矩阵是 这说明，不存在正整数 ，能使 ，所以不具有各态历经性，即不存在状态极限概率 。 马尔可夫信源的熵 各态历经的马尔可夫信源的特征是在充分长的时间进行观测信源的状态转移情况，其状态的频度分布是一个平稳分布。因此，对于各态历经的马尔可夫信源。长时间观测，是一个特定的输出序列，它有固定的统计特性。 马尔可夫信源的熵 信息熵：信源输出的每个符号所携带的平均信息量 . 信源的输出序列 马尔可夫信源的熵 m阶马尔可夫信源熵： 其中，qj表示为系统的平稳状态，r为状态的个数。H(S|qj)为系统处于qj状态下的信息熵。 　对于一个实际的信源，如果长时间观测，其统计特性比较平稳，就可以看作是各态历经的马尔可夫信源。 马尔可夫信源－熵 非常重要。四个步骤： 画出状态转移图； 判断是否具有各态历经性，并求状态极限概率(平稳分布)。 求在每个状态下，信源的信息熵； 求马尔可夫信源的熵 马尔可夫信源的熵 例：计算如下信源的信息熵 马尔可夫信源的熵 解：设q1=11， q2=01，q3=10，q4=00 马尔可夫信源的熵 又根据各态历经定理，有 且有 求得： 马尔可夫信源的熵 在每个状态下信源的信息熵: 因此得 课堂作业 设有一个马尔可夫信源，其初始概率分布为 且有 试计算： 写出该马尔可夫链的一步转移概率矩阵和 二步转移概率矩阵 2)求该马尔可夫链的平稳分布 3)求该马尔可夫信源的信息熵 课堂作业 1)由条件可得该马尔可夫链的一步转移概率矩阵为： 其二步转移概率矩阵为P(2), 且有 课堂作业 2)由于二步转移概率矩阵P(2)中没有“0”元素，则 可判断它具有各态历经性, 则存在平稳分布。设极限 状态为q1=a， q2=b，q3=c 。根据各态历经定理，其 平稳分布 课堂作业 3）根据马尔可夫信源的信息熵的定义为 则有 冗余度 冗余度亦称多余度或剩余度。它表示给定信源在实际发出消息时所包含的多余信息。如果一个消息所包含的符号比表达这个消息所需要的符号多的话，那么，这样的消息就存在多余度。 冗余度 设信源实际熵为与该信源最大熵之比为 　　E称为信息效率(或信息含量效率)，表示不肯定性的程度. （1-E）表示肯定性的程度，因为肯定性不含有信息量，所以是冗余的，故定义 冗余度 例子：英文信源 其最大熵为（认为是等可能概率时熵为最大） 认为英语中的字母是离散无记忆的，算出英语中每个字母所携带的平均信息量 冗余度 但英语单词中的字母是有相关性的，比如th-，in-…等，前后两个字母存在相关性，算得 若考虑更多的字母相关性（实测结果表明8个以上字母的相关性可以不考虑），估算此时的熵为 冗余度 这表明，在100页的英语中，如果只考虑字母间的相关时，只要29页就够了（字母大小不变）。 但语言是很复杂的，除了相关性以外，还要考虑英语构词法和语法规则等。因此，就语言而言，多余度不完全是多余的，只有考虑了句子的前后关联才能准确了解其含义。 数学模型 连续信源的信息量 连续信源的信息量 分层量化 连续 离散