信息理论基础第三章离散信源.pptVIP

定理：马尔可夫信源具有稳态分布的充要条件是存在一个正整数N，使马尔可夫信源的状态转移矩阵 中的所有元素均大于零。 例3-8 有一个马尔可夫链，其状态转移矩阵为： 问：是否存在稳态分布，如果存在求此稳态分布。 解： 由此判断：稳态分布存在 由WP=W以及各状态概率之和为1 得： 和 由平稳信源的熵率（实际熵、极限熵）可得遍历性的马尔可夫信源的熵为： 则m阶马尔可夫信源的熵： 2.遍历性的m阶马尔可夫信源的熵 注意：一般认为，当时间足够长时，遍历的m阶马尔可夫信源视作平稳有记忆信源。 提问：为什么？ 计算： 由遍历性的马尔可夫信源的概念可知，它的每一个状态完全由输出的符号集：A={a1,a2,…ar}唯一确定。 两端同时取对数，则： 两端对Sj和ak1…akm+1取统计平均,然后取负值,则 求遍历性的m阶的马尔可夫信源熵的公式: 其中： 是马尔可夫链的稳态分布,可利用： WP=W和 求解出。 ____表示信源处于状态Sj时发出一个消息符号的平均不确定性 3.举例说明马尔可夫信源熵的计算方法 例3-9: 有一个二进制二阶马尔可夫信源，其信源符号集为A={0,1},条件概率为： 求二阶马尔可夫信源的熵。 解:由例7可知状态转移矩阵为： 可知：此信源是遍历性的马尔可夫信源，稳态分布存在 设稳态分布为： 则利用WP=W和 可知： 对于遍历性马尔可夫信源有 由 则有： 第五节? 信源的相关性和剩余度 一.信源的相关性 信源输出符号之间的依赖关系 对于离散平稳信源有 当信源输出符号之间的相关程度越长，实际熵越小 二.信源熵的相对率η 三.信源的剩余度γ 讨论γ ： 从提高抗干扰能力角度出发: 希望减少或去掉剩余度 希望增加或保留信源的剩余度 因为:剩余度大的消息具有很强的抗干扰能力。当干扰使消息在传输过程中出现错误时，能从它的上下关联中纠正错误。 从提高信息传输的有效性观点出发: 原因是什么? 例3-10： 黑白气象传真图的消息只有黑白两种颜色，即信源X={黑，白}，且p(黑)=0.3，p(白)=0.7。 （1）假设图上黑白消息出现前后没有关系，求熵H(X)。 （2）假设消息前后有关系，其依赖关系为 p(白|白)=0.9，p(黑|白)=0.1，p(白|黑)=0.2， p(黑|黑)=0.8，求此一阶马尔可夫信源的熵H2。 （3）分别求上述两种信源的剩余度，并比较H(X)和H2的大小，并说明其物理意义。 信源的信息熵 （2）分析得此信源为一阶马尔可夫信源，它的的状态集为：A={S1=黑，S2=白}。则状态转移图： S1 ? S2 0.2 0.1 0.8 0.9 解：（1）假设黑白气象传真图上黑白消息出现的前后没有关系，则等效于一个离散无记忆信源。信源概率空间为： 则其状态转移矩阵为 ： 由此可见：此马尔可夫信源是遍历的，稳态分布存在，则设W=(p(S1) p(S2)),根据WP=W可得： 可以求出: 则此信源的熵为： （3）黑白消息信源的剩余度 即 本章需要掌握的内容： 信源的分类 离散平稳无记忆信源及扩展信源的特点和信息√ 离散平稳有记忆信源的特点和信息 马尔可夫信源的特点和信息√ 信源的相关性和剩余度√ 第三章 离散信源及其信息测度 信息论对信源研究的主要内容由以下几个方面组成： （1）信源的建模 （2）信源输出信号中携带信息量大小的计算 （3）信源输出的有效表示 一、信源 信宿 信源 发送器 信道 接收器 消息 信号 发送 信号 接收 消息 噪声 第一节 信源的数学模型及分类 信源输出随机变量X，可能的取值 二、信源的数学模型 信息的来源——信源 1.按信源发出的消息在时间上的分布划分： 有限长记忆信源(马尔可夫信源） 有记忆平稳信源 三.信源分类 离散信源 2.按信源发出的前后消息是否有关划分： 连续信源 无记忆信源 有记忆信源 例题 （1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用 个像素和10个不同亮度的电平，设每秒传递30帧图像，所有象素是独立变化的，且所有亮度电平等概率出现,求传递此图像所需的信息率（比特/秒） （2）设某彩电系统，除了满足对黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率大约是黑白系统的传输信息率的2.5倍。 一.离散无记忆信源 1.概念 信源先后发出的一个个消息符号彼此独立。 2.数学模型 信源输出随机变量X，可能的取值 第二节 离散无记忆信源及其扩展信源 3.信源输出的信息量 1.求N次扩