第2章：信源及其信息量1祥解.ppt

① 离散平稳无记忆信源 定义： 信源X的符号集为{x1,x2,…,xn}，n为信源发出的符号个数，每个符号发生的概率为p(xi)，这些符号彼此互不相关 N 次扩展信源的数学模型 信源 X 的 N 次扩展信源用 XN 表示，它是具有 nN 个符号的离散信源，其数学模型为： 每个符号 ai 是对应于某一个由 N 个 xi 组成的序列。 ai 的概率 p(ai) 是对应的 N 个 xi 组成的序列的概率。 根据信息熵的定义，N 次扩展信源的熵： 离散无记忆信源 X 的 N 次扩展信源的熵等于离散信源 X 的熵的 N 倍，即： H(X)=H(XN)=NH(X) 马尔科夫信源是有记忆信源，信源符号出现的概率与已经出现的符号有关； 平稳马尔科夫信源的熵是条件熵； 根据条件熵的定义和马尔科夫信源中对状态的定义： 人有了知识，就会具备各种分析能力， 明辨是非的能力。 所以我们要勤恳读书，广泛阅读， 古人说“书中自有黄金屋。 ”通过阅读科技书籍，我们能丰富知识， 培养逻辑思维能力； 通过阅读文学作品，我们能提高文学鉴赏水平， 培养文学情趣； 通过阅读报刊，我们能增长见识，扩大自己的知识面。 有许多书籍还能培养我们的道德情操， 给我们巨大的精神力量， 鼓舞我们前进。 * 当后验概率小于先验概率时，互信息量为负。说明收信者未收到 yj 以前，对消息 xi 的是否出现的猜测难疑程度较小，但由于噪声的存在，接收到消息 yj 后对 xi 是否出现的猜测的难疑程度增加了，也就是收信者接收到消息 yj 后对 xi 出现的不确定性反而增加，所以获得的信息量为负值。 * 当后验概率小于先验概率时，互信息量为负。说明收信者未收到 yj 以前，对消息 xi 的是否出现的猜测难疑程度较小，但由于噪声的存在，接收到消息 yj 后对 xi 是否出现的猜测的难疑程度增加了，也就是收信者接收到消息 yj 后对 xi 出现的不确定性反而增加，所以获得的信息量为负值。 * (3) 离散平稳有记忆信源的极限熵 ① 马尔科夫信源的定义 ② 平稳马尔科夫信源 ③ 平稳马尔科夫信源的熵 ① ??马尔科夫信源的定义 信源的状态和符号集 马尔科夫链 马尔可夫信源的定义 m阶马尔科夫链信源 a) 信源的状态和符号集 有一类信源，输出的符号序列中符号之间的依赖关系是有限的，即任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面发出的符号无关。 设符号集为 X ，状态为 S。信源输出的信息符号还与信源所处的状态有关。 状态 S∈{e1,e2,…,eJ} 符号 X∈{x1,x2, …,xn} 每一时刻信源发出一个符号后，所处的状态将发生转移。 a) 信源的状态和符号集 b) 马尔可夫链 信源输出的随机符号序列为 X1,X2, …,Xl－1,Xl, … 信源所处的随机状态序列为 S1,S2, …,Sl－1,Sl, … 在第 l 时刻，信源状态为 ei 时，输出符号 xk 的概率为： pl(xk /ei)=P(Xl=xk /Sl=ei) 在第 l－1 时刻，信源状态 ei 时，下一时刻转移到 ej 的状态转移概率为： pl(ej /ei)=P(Sl=ej /Sl-1=ei) 称信源的随机状态序列服从马尔可夫链。 c) 马尔可夫信源的定义 马尔可夫信源：信源输出的符号和所处的状态满足下列两个条件。 某一时刻信源符号的输出只与此刻信源所处的状态有关，与以前的状态和以前的输出符号都无关。即： P(Xl=xk /Sl=ei , Xl－1=xk1, Sl－1 =ej ,…) =pl(xk /ei) 说明： 若信源处于某一状态 ei，当它发出一个符号后，所处的状态就变了； 任何时刻信源所处的状态完全由前一时刻的状态和发出的符号决定; 因为条件概率 p(xk /ei) 已给定，状态的转移满足一定的概率分布，据此可求出状态的一步转移概率 p(ej /ei)。 马尔可夫链的状态转移图：每个圆圈代表一种状态，状态之间的有向线代表某一状态向另一状态的转移。有向线一侧的符号和数字分别代表发出的符号和条件概率。 举例 [例2.2.3] ：设信源符号 X∈{x1, x2, x3} ，信源所处的状态S∈{e1, e2, e3, e4, e5} 。各状态之间的转移情况由图2.2.1给出。 举例 将图中信源在 ei 状态下发符号 xk 的条件概率 p(xk /ei) 用矩阵表示 由矩阵看出： 由图中看出： 举例 由图中可得状态的一步转移概率： 该信源满足马尔可夫信源定义。 d) m 阶马尔可夫信源 m 阶有记忆离散信源的状态：对m 阶有记