[工学]ch3离散信源.pptVIP

* * * 定义3.4.2 信源输出为N长符号序列，平均每个符号的熵为： 定义3.4.3 信源输出为N长符号序列，当N??，则极限熵为 极限熵的含义：信源输出的符号序列中，平均每个符号带有的信息量，即实际的熵。 3.4.3 极限熵 定理3.4.1 3.5 马尔可夫信源 有限记忆信源：当前要输出的这个符号只与前面已经输出的m个符号有关。 这是具有马尔可夫链性质的信源。 3.5.1 有限状态马尔可夫链 定义3.5.1 设{Xn,n∈N+}为一随机序列，时间参数集N+={0,1,2,…}，状态空间S={S1, S2,…, SJ}，若对所有n∈N+，有 则称{Xn,n∈N+}为马尔可夫链。 系统的将来的状态只与系统的现在的状态有关，与系统的过去的状态无关——这种特性称为马尔可夫特性 什么是状态？ 将马尔可夫链用在不同的环境中，“状态”将具有不同的含义。 转移概率 在已知m时刻系统处于状态Si的条件下，在n时刻系统处于状态Sj的概率, 转移概率：pij(m,n)=P{Xn=Sj|Xm=Si}=P{Xn=j|Xm=i} 实质：条件概率 一步转移概率：n-m=1的情况，马尔可夫链最关心的转移概率。 一步转移概率和k步转移概率 一步转移概率（基本转移概率）： n-m=1 k步转移概率: 规定 转移矩阵： 所有的pij(k)(m) 组成一个矩阵 矩阵P中每一个元素 都是非负的，并且 每行之和均为1 时齐马尔可夫链 定义3.5.2 如果在马尔可夫链中 pij(m)=P{Xm+1=j|Xm=i}=pij 即从状态i转移到状态j的概率与m（时间）无关，则称这类马尔可夫链为时齐马尔可夫链，或齐次马尔可夫链，或具有平稳转移概率的马尔可夫链。 时齐马尔可夫链中一步转移矩阵与多步转移矩阵之间的关系 一步概率转移矩阵 时齐马尔可夫链中存在切普曼-柯尔莫哥洛夫方程 两步转移概率 转移矩阵与初始分布 初始分布：系统一开始各个状态出现的概率 初始分布不能由转移概率表示 转移概率：一个状态转移到另一个状态，涉及两个状态 初始分布：涉及一个状态 由初始分布及各时刻的一步转移概率可以完整描述马尔可夫链的统计特性。 n时刻的状态分布 初始状态分布 转移矩阵的n次幂 n时刻的状态分布 齐次马尔可夫链的遍历性 含义：无论初始分布是什么样的，经过足够长的转移之后，每种状态出现的概率稳定下来。 稳定=平稳？ NO 稳定：经过一个过程之后达到平稳 平稳：一定稳定 共同点：都指先验概率 求解稳态分布 定理3.5.2 设P为某一马尔可夫链的状态转移矩阵，则该链稳态分布存在稳态分布的充要条件是存在一个正整数N，使得矩阵PN中所有的元素均大于零。 等价于：存在一个状态Sj和正整数N，使得从任意初始状态出发，经过N步转以后，一定可以达到状态Sj。 定理3.5.1 求解稳态分布——例子 解： 3.5.2 马尔可夫信源 具有马尔可夫链性质的信源 状态：符号序列 定义3.5.4 若信源输出的符号和状态满足下列条件则称此信源为马尔可夫信源： 某一时刻信源符号的输出只与当时的信源状态有关，而与以前的状态无关，即 信源状态只由前一时刻的状态和发出的符号唯一确定，即 马尔可夫信源的实质 有限记忆信源 假设信源将要输出符号与 前m个符号有关，则状态由 m个符号构成 一阶马尔可夫信源与m阶马尔可夫信源 一阶马尔可夫信源：状态中仅包含N=1个符号，共有qN=q个状态。将要输出的符号仅与前1个符号有关。 m阶马尔可夫信源：状态中包含N=m个符号，共有qN=qm个状态。将要输出的符号与前m个符号有关。 状态转移图 这表明信源输出符号的不确定性问题转化成了信源状态转移的问题。 因此可以用马尔可夫链的状态转移图表示马尔可夫信源 状态转移图的例子 例3.5.2 二进制一阶马尔可夫信源 一阶：N=1，qN=2，即有2个状态S1=0和S2=1。 根据条件概率，可画出状态转移图 状态转移概率为 p(S1|S1)=p(0|S1)=0.25 p(S1|S2)=p(0|S2)=0.5 p(S2|S1)=p(1|S1)=0.75 p(S2|S2)=p(1|S2)=0.5 状态转移矩阵为 S1 S2 S1 S2 状态转移图的例子 例3.5.3 二进制二阶马尔可夫信源 二阶：N=2，qN=4，即有4个状态 S1=00、S2=01、S3=10、S4=11。 根据条件概率，可画出状态转移图 状态转移概率 p(S1|S1)=p(S4|S4)=0.8 p(S2|S1)=p(S3|S4)=0.2 p(S3|S2)=p(S1|S3)=p(