My第二章.ppt

举 例 例 设信源符号 X∈{x1, x2, x3} ，信源所处的状态S∈{e1, e2, e3, e4, e5} 。各状态之间的转移情况由图给出，考察其是否是马尔科夫信源。 分析： 将图中信源在ei状态下发符号xk 的条件概率p(xk |ei)用矩阵表示 由图中可得状态的一步转移概率矩阵 该信源满足马尔可夫信源定义。 Def：m阶马尔可夫信源 一个马尔可夫信源在任何时刻L，符号发生的概率只与前面m个符号有关，而与更前面的符号无关。其数学模型如下： 当m=1时，为一阶马尔可夫信源。 [例] 二元2阶马尔可夫信源，原始信号X的符号集为{x1=0, x2=1}，其状态空间共有nm=22=4个不同的状态e1,e2,e3,e4，即 E：{e1=00,e2=01,e3=10,e4=11} 状态转移图见右图所示,计算其状态转移概率。 解：根据转移箭头，考察状态间转移情况： p(e1|e1)= p(x1|e1)=p(0|00)=0.8 p(e2|e1)= p(x2|e1)=p(1|00)=0.2 p(e3|e2)= p(x1|e2)=p(0|01)=0.5 p(e4|e2)= p(x2|e2)=p(1|01)=0.5 p(e1|e3)= p(x1|e3)=p(0|10)=0.5 p(e2|e3)= p(x2|e3)=p(1|10)=0.5 p(e3|e4)= p(x1|e4)=p(0|11)=0.2 p(e4|e4)= p(x2|e4)=p(1|11)=0.8 其余转移概率为0。 [例] 二元2阶马尔可夫信源，原始信号X的符号集为{X1=0, X2=1}，其状态空间共有 nm=22=4 个不同的状态e1,e2,e3,e4，即 E：{e1=00,e2=01,e3=10,e4=11} 状态转移图见右图所示。计算信源熵。 解： p(e1|e1)= p(x1|e1)=p(0|00)=0.8 p(e2|e1)= p(x2|e1)=p(1|00)=0.2 p(e3|e2)= p(x1|e2)=p(0|01)=0.5 p(e4|e2)= p(x2|e2)=p(1|01)=0.5 p(e1|e3)= p(x1|e3)=p(0|10)=0.5 p(e2|e3)= p(x2|e3)=p(1|10)=0.5 p(e3|e4)= p(x1|e4)=p(0|11)=0.2 p(e4|e4)= p(x2|e4)=p(1|11)=0.8 …… 由二元信源X∈{0,1}得到的状态空间(e1,e2,e3,e4)和相应的 一步转移概率构成的2阶马尔可夫信源模型为 求出稳定状态下的q(ej) （极限概率）。将一步转移概 代入上式得 q(e1)=0.8 q(e1)+0.5 q(e3) q(e2)=0.2 q(e1)+0.5 q(e3) q(e3)=0.5 q(e2)+0.2 q(e4) q(e4)=0.5 q(e2)+0.8 q(e4) q(e1)+ q(e2)+ q(e3)+ q(e4) =1 解方程组得 q(e1)= q(e4)=5|14，q(e2)= q(e3)=1|7 计算极限熵 例：分析如下信源的熵和信源平稳后符号输出概率： 一个二元二阶马尔可夫信源，信源符号集A={0,1}。信源开始时，它以初始概率p(0)=p(1)=0.5发出随机变量X1。 然后，第二时刻输出的随机变量X2与X1有依赖关系，由条件概率p(x2|x1)表示： 第三时刻输出随机变量X3，而X3依赖于前面变 量。依赖关系由条件概率p(x3|x1x2)表示： 从第四时刻开始往后，任意时刻信源发出的随机变 量Xi只与前面二个单位时间的随机变量有关： 当时齐、遍历的马尔科夫信源达到稳定后，可以看成一个平稳信源。 由于平稳信源必须知道信源的各维概率分布，这实际上是很难实现的。而m阶马尔科夫信源却只需要知道与前m个符号有关的条件概率（这较容易实现），即可计算出信源的信息熵。 所以，一般平稳信源可用m阶马尔科夫信源近似。 平稳信源的m阶马尔科夫信源近似 依赖状态 x1 输出 0.6 0.7 1