1熵息信与源信2件课学教术技码编与论息信.ppt

K-C方程 K-C方程： K步状态转移概率可以任意分解为L (LK)步和K-L步状态转移概率的组合。(P12，矩阵乘积) 可见：对于齐次马尔可夫链来说，一步转移概率完全决定了K步转移概率。 如前所述：齐次马尔可夫信源不一定是平稳的；而实际通信系统通常视为平稳信源。因此，本节研究的主要对象是：经过有限的时间，能够最终转变成平稳的、可遍历马尔可夫信源的齐次信源。 如前所述，研究信源的中心内容是研究信源所含信息量的多少。在求平稳、可遍历马尔可夫信源的信源熵之前，首先必须求出状态(长度为m的符号序列)的(无条件)稳态概率分布！ 求解稳态概率分布 如果一个齐次马尔可夫信源能够转变成平稳、可遍历的马尔可夫信源，则必然存在稳态概率分布。 求解稳态概率分布Wi的方法： 一个方程组(Q个方程、Q个未知数)＋一个方程。(P12～14) 稳态概率的存在是必要、而非充分条件。除了稳态概率分布，可遍历、稳定的齐次马尔可夫信源还要满足以下两个特性(必要条件)： 状态转移图不可约(可遍历)； 状态转移图满足非周期性(稳定)。 马尔可夫状态转移图(Shannon线图) 描述方法：状态、箭头、概率。 (P12) (1)不可约性(从任何一种状态出发，都有可能到达任何一种状态，即：概率大于0) (2)非周期性(每一种状态回到自身的所有可能的步数不存在大于1的公因子) (P14) 稳态、可遍历的直观意义：P14。 例1(P14) 例:一个马氏链X∈{0,1}，其符号条件概率如表1。求其状态转移概率表，画出其状态转移图，并求出各状态的稳态分布概率。 表1 符号条件概率表 表2 状态转移概率表 起始状态 符 号 0 1 00 1/2 1/2 01 1/3 2/3 10 1/4 3/4 11 1/5 4/5 起始状态 终 止 状 态 (00) (01) (10) (11) 00 1/2 1/2 0 0 01 0 0 1/3 2/3 10 1/4 3/4 0 0 11 0 0 1/5 4/5 分析：根据表1：由于符号条件概率固定，该信源为齐次、2阶马尔可夫信源，包含4个状态变量S∈{00，01，10，11} 。 解： 1、根据符号条件概率，可以转换得到状态转移概率表如表2所示。(方法是：比如在状态…01时，出现符号0，符号条件概率为1/3；将符号0加到先前状态/序列…01后，变成…010，则当前状态变为…10，概率同样为1/3。依此类推。) 2、根据状态转移概率表2，可得状态转移图如下所示： 状态转移图 01 00 10 11 (1)1/2 (0)1/4 (1)2/3 (0)1/5 (0)1/3 (1)3/4 (0)1/2 (1)4/5 3、联立求解：状态的稳定分布概率： 由 得： 解之得： 4、利用符号条件概率或状态转移概率求出状态的稳态概率分布以后，进而可以很容易求得信源的单个符号概率分布(P16) ，也可以直接求出马尔可夫信源的信息量大小(P33) 。 由例子可以看出，状态转移概率与符号条件概率是不同的，相应的状态转移概率矩阵与符号条件概率矩阵也是不同的。(P15、 P16 ) 例2 某信源，符号集为{a,b,c},开始时分别以0.6，0.3和0.1的概率发出符号X1 。X1为a时，X2为a，b，c的概率为1/3； X1为b时，X2为a，b，c的概率为1/3； X1为c时，X2为a，b的概率为1/2,为c的概率为0。而且后面发出Xi的概率只与Xi-1有关，且P(Xi|Xi-1)=P(X2|X1)(i2)。用马尔可夫图示法画出状态转移图，计算稳态概率分布。 分析：齐次。一阶马尔可夫信源，则状态集等于符号集。 解：略。 结论：状态(此例中的单个符号)的稳态概率不等于状态的初始概率。 至此，我们已经分析了各种常见信源的符号概率分布的数学模型，下面就可以正式开始学习信息量的度量计算了。 第2章 信源与信息熵 信源是信息的来源。例如声音、文字、图像和数据等。 在信息论中，信源是产生消息(符号)、消息(符号)序列和连续消息的来源；信源输出是以符号形式出现的具体消息。 客观信源的基本特性是具有随机、不确定性。当出现的符号是随机的，才能载荷信息。如果符号是确定的且已知，那么该消息就没有包含信息。从数学上看，由于信息的不确定性，信源可以认为是产生随机变量、随机向量/矢量、随机序列和随机过程的源。 同时，符号的出现具有一定的规律性，所以可以使用随机变量或者随机向量/矢量等数学理论来研究信息，这就是香农信息论的基本点。 在经典的香农信息论中，讨论