南京工程学院通信工程学院信息论与编码课件第2章信源与信息熵.ppt

例题1 有一个二阶马氏链 ，其符号概率如表1，状态变量 ，求其状态转移概率表，画出其状态转移图，求出各状态的平稳分布概率。 表1 符号条件概率表 表2 状态转移概率表 起始状态 符 号 0 1 00 1/2 1/2 01 1/2 2/3 10 1/4 3/4 11 1/5 4/5 起始状态 终 止 状 态 (00) (01) (10) (11) 00 1/2 1/2 0 0 01 0 0 1/3 2/3 10 1/4 3/4 0 0 11 0 0 1/5 4/5 求出的状态转移表如表2所示。方法是：比如在状态01时，出现符号0，则将0加到状态01后，再将第一位符号0挤出，转移到状态10，概率为1/3。依此类推。 状态转移图为： 10 11 (1)2/3 (0)1/5 (1)4/5 01 00 (1)1/2 (0)1/4 (0)1/3 (1)3/4 (0)1/2 求状态平稳分布概率： 由 得： 求解得 由例子可以看出，状态转移矩阵与条件概率矩阵是不同的。 例题2 三态马尔柯夫信源的状态转移矩阵为状态转移矩阵为 试：画出其香农线图，求其稳态状态概率分布和符号概率分布。 解：香农线图为 稳态状态概率分布： 解得： m阶马尔可夫信源的极限熵 当时间足够长时，遍历的m阶马尔可夫信源可视为平稳信源 又因为信源发出的符号只与最近的m个符号有关 由前面的极限熵定理： 对任意离散平稳信源，若 可得 即m阶马尔可夫信源的极限熵等于m阶条件熵。 m阶马尔可夫信源的极限熵 m阶马尔可夫信源的极限熵 2.4 连续信源的熵与互信息 实际中，连续信源 幅度连续 时间或频率上也连续 统计特性 概率密度函数 用离散变量来逼近连续变量 连续信源熵的定义 连续信源的状态概率用概率密度来表示。如果连续随机变量X，取值为实数域R，其概率密度函数为p(x)，则 如果取值为有限实数域[a,b]，则 X的概率分布函数为 连续信源熵 利用离散信源熵的概念来定义连续信源熵 设一在[a,b]取间的连续随机变量 把X的取值区间[a,b]分割为n个小区间，小区间宽度为 连续信源熵 连续信源熵 当△趋于0，n趋于无穷时，离散随机变量Xn将接近于连续随机变量X，这时可以得到连续信源的熵为 其中,连续信源的熵定义为 连续信源熵 连续信源熵为一个相对熵，其值为绝对熵减去一个无穷大量 连续信源有无穷多个状态，因此根据SHANNON熵的定义必然为无穷大。 连续信源的熵不等于一个消息状态具有的平均信息量。其熵是有限的，而信息量是无限的。 连续信源熵不具有非负性，可以为负值 尽管连续信源的绝对熵为一个无穷大量，但信息论的主要问题是信息传输问题，连续信道的输入输出都是连续变量，当分析其交互信息量时是求两个熵的差，当采用相同的量化过程时，两个无穷大量将被抵消，不影响分析。 连续信源熵 例子--均匀分布的连续信源熵 设一维连续随机变量X的取值区间是[a,b]，在[a,b]中的概率密度函数是 其熵为 当(b-a)1时，H(X)0，即H(X)不具有熵函数的非负性，因为H(X)是相对熵，相对熵可以为负值，但绝对熵仍然为正值 连续信源的最大熵定理 限峰功率最大熵定理：定义域受限的随机变量X，均匀分布时，具有最大熵 连续信源的最大熵定理 限平均功率最大熵定理：对于相关矩阵一定随机变量X，当它是正态分布时具有最大熵 2.5 冗余度 表示给定信源在实际发出消息时所包含的多余信息 来源 信源符号间的相关性 信源符号分布的不均匀性 定义 衡量信源的相关性程度 信源输出符号间相关长度长，则信源的实际熵小，熵的相对率小，信源的冗余度越大 反之，信源冗余度小 以符号是英文字母的信源为例，英文字母加上空格共有27个，则最大熵为 但实际上，用英文字母组成单词，再由单词组成句子时，英文字母并不是等概率出现 对在英文书中各符号的概率加以统计，可以得出各个字母出现的概率，由此得出第一级近似为无记忆信源的熵： 例子 例如字母T后面出现H、R的可能性较大，出现J、K、L、M、N的可能性极小，而根本不会出现Q、F、X。 考虑到字母之间的依赖性，可以把英语信源做进一步精确的近似，看作一阶或二阶马尔可夫信源，这样可以求得： 再考察英语