信息论及编码PPT第二章.ppt

举例 一维离散平稳信源 二维离散平稳信源 例题 联合熵与条件熵 联合熵与条件熵 联合熵与条件熵 联合熵与条件熵 信源状态和符号集 状态转移图 举 例 [例2.2.3] 设信源符号 X∈{x1, x2, x3} ，信源所处的状态S∈{e1, e2, e3, e4, e5} 。各状态之间的转移情况由图2.2.1给出。 将图中信源在ei状态下发送符号xk 的条件概率p(xk /ei)用矩阵表示 由矩阵看出： 第七节 信源剩余度与自然语言的熵 剩余度（冗余度） 信源熵的相对率η ：为了衡量符号间的相互依赖程度，定义信源极限熵与实际熵的比值为信源熵的相对率：η= H∞/Hn 信源冗余度ξ：1减去信源熵的相对率η，即 ξ=1-η=(Hn-H∞)/Hn 信息冗余In∞：In∞= Hn -H∞。 剩余度（冗余度） 3、离散平稳信源的极限熵 平均符号熵 对于一般的离散平稳有记忆信源，假设信源符号 之间的依赖长度为N，为了计算离散平稳信源的信息 熵， N长的信源符号序列中平均每个信源符号所携带 的信息量为： 条件熵 有以下几点性质： （1）条件熵随N的增加是非递增的 （2）N给定时，平均符号熵大于等于条件熵 （3）平均符号熵随N的增加是非递增的 （4） 称 为极限熵。 可以证明，对于二维离散平稳信源，条件熵等于极限熵，因此条件熵就是二维离散平稳信源的真实熵。 对于一般信源，求出极限熵是很困难的，然而，一般来说，取N不大时就可以得到与极限熵非常接近的条件熵和平均符号熵，因此可以用条件熵和平均符号熵来近似极限熵。 3、离散平稳信源的极限熵 第六节 马尔可夫信源 在很多信源的输出序列中，符号之间的依赖关系是有限的，任何时刻信源符号发生的概率只与前边已经发出的若干个符号有关，而与更前面的符号无关。 为了描述这类信源除了信源符号集外还要引入状态集。这时，信源输出消息符号还与信源所处的状态有关。 设符号集为X 和状态为S。信源输出的信息符号还与信源所处的状态有关。 状态S∈{E1,E2,…,Ej} 符号X∈{x1,x2, …,xn} 每一时刻信源发出一个符号后，所处的状态将发生转移。 信源输出的随机符号序列为 X1,X2, …,Xl-1,Xl, … 信源所处的随机状态序列为 S1,S2, …,Sl-1,Sl, … （1）某一时刻信源输出的符号的概率只与当前所处的状态有关，而与以前的状态无关。即 当符号输出概率与时刻L无关，称为具有时齐性。即 第六节 马尔可夫信源 若一个信源满足下面两个条件，则称为马尔可夫信源： （2）信源的下一个状态由当前状态和下一刻的输出唯一确定。 条件（2）表明，若信源处于某一状态 ，当它发出 一个符号后，所处的状态就变了，一定转移到另一状态。 状态的转 移依赖于发出的信源符号，因此任何时刻信源处 在什么状态完全由前一时刻的状态和发出的符号决定。 第六节 马尔可夫信源 马尔可夫链的状态转移图： 每个圆圈代表一种状态，状态之间的有向线代表某一状态向另一状态的转移。有向线一侧的符号和数字分别代表发出的符号和条件概率。 由图中看出： 由图中可得状态的一步转移概率： 该信源满足马尔可夫信源定义。 对一般离散平稳信源，H∞就是极限熵。理论上只要有传送H∞的手段，就能把信源包含的信息全部发送出去。但实际上确定H∞非常困难，只好用实际信源熵Hn来代替。 而HnH∞，所以在传输手段上必然富裕，这样做很不经济，特别是有时只能得到H1，甚至H0，就更不经济。这种浪费是由信源符号的相关性引起的。 信息熵的基本性质 信息熵的基本性质 利用强可加性-1来理解强可加性-2 一个班共有40人，其中男生30人，女生10人；男生 中身高在1.6-1.7之间的有5人，在1.7-1.8之间的有20人， 在1.8以上的有5人；女生中身高在1.5-1.6之间的有3人， 在1.6-1.7之间的有5人，在1.7以上的有2人。求该信源 的熵。 信息熵的基本性质 7.递增性 信息熵的基本性质 例： 信息熵的基本性质 正因为熵函数具有上凸性，所以熵函数具有极值和最大值存在。 信息熵的基本性质 第四节 离散无记忆的扩展信源 前面讨论的只是最简单的离散信源，即信源每次输出只是单个符号的消息。 实际信源输出的消息往往是时间上或空间上的一系列符号。 如电报系统，序列中前后符号间一般是有统计依赖关系的。 如在电报系统中，我们可以把两个二元数字看成一组，会出现四种可能情况：00、0