信息论2章5,6,7,8节(上课用).ppt

05-06学期上 Elements of Information Theory 信息论Information Theory 蒋青 jiangq@cqupt.edu.cn TEL2 离散信源及其信息测度 2.1 信源的数字模型及分类 2.2 离散信源的信息量和信息熵 2.3 信息熵的基本性质 2.4信息熵的唯一性定理 2.5 离散无记忆的扩展信源 2.6 离散平稳信源 2.7马尔可夫信源 2.8信源剩余度与自然语言的熵 2.5离散无记忆的扩展信源 离散无记忆信源讨论的问题： 发出单个符号的离散无记忆信源和发出符号序列的离散无记忆信源两种， 离散无记忆信源发出的各个消息符号是相互独立的。 发出单个符号的离散无记忆信源：每次只发出一个符号且每个符号代表一个消息 发出符号序列的离散无记忆信源：每次发出一组不少于两个的符号序列来代表一个消息。 前面我们讨论的只是最简单的离散信源，即信源每次输出只是单个符号的消息。我们给出了用信息熵H（X）来对基本离散信源进行信息测度，以及研究了信息熵H（X）的基本性质。 从本节开始，我们将进一步讨论较为复杂的离散信源及其信息测度。 离散无记忆信源的序列熵 定义： 若信源发出的消息是由N个离散符号构成的符号序列，且各消息相互统计独立，则称此信源为发出符号序列消息的离散无记忆信源。 发出符号序列消息离散无记忆信源的典型例子 ASCII 码可以看成是由8个二进制符号构成的符号序列； 中文电报码是由4个十进制符号构成的符号序列而每个十二进制符号又由5个二进制符号构成； 通信系统中的QPSK，根据2个二进制符号00，01，10，11进行相位调制等。 离散无记忆信源的N重扩展信源 定义： 若单符号离散无记忆信源的信源空间为[X · P]，对其进行N重扩展得到符号序列X=X1X2…Xn，则称扩展后的信源为离散无记忆信源[X · P]的N重扩展信源，N重扩展得到符号序列记为XN。 离散无记忆扩展信源的特点： 信源先后发出的一个个符号彼此是统计独立的，并且具有相同的概率分布， N重扩展信源的数学模型 用N重离散概率空间来描述这类信源。 若N维随机矢量中每个变量的取值为 则信源的N重概率空间为 离散无记忆扩展信源的熵 由于信源发出的符号序列彼此统计独立，故发出符号序列消息离散无记忆信源的熵为 H(XN) = N H(X) 证明： 2.6离散平稳信源 在实际信源中，输出序列各符号之间存在一定的相关性，引入离散平稳信源的概念。 定义：若信源输出的消息是取值离散的随机序列，随机序列的任意有限维的概率分布不随时间平移而改变，则称为离散平稳信源。 平稳信源的熵 为了使分析简单直观，先分析研究发出的信源序列中只是前后两个符号之间有关联性的情况。即先讨论二维再推广到多维 二维平稳信源 数学模型 离散平稳信源的极限熵 若离散平稳信源当N趋于无穷时，平均符号熵的极限存在，则称此极限为离散平稳信源的极限熵（也称熵率） 离散平稳信源的性质 1、若信源X是平稳离散信源，则有 H(X) = H(X1X2…XK) = H(X1) + H(X2|X1) +H (X3|X1X2) + … + H (XK |X1X2…XK – 1) 即H(X)是X中起始时刻随机变量X1的熵与各阶条件熵之和。 离散平稳信源的性质 2、平稳离散信源的条件熵随K的增加是非递增的，即 H (XK |X1X2…XK–1) ≤H (XK–1 |X1X2…XK–2) 特别地，当K=2时，有 H (X2 /X1) ≤ H (X2) 离散平稳信源的性质 3、对于平稳离散信源，令 2.7马尔可夫信源 前面已对离散平稳有记忆信源进行了讨论，下面主要讨论非平稳离散信源中的一类特殊信源——马尔可夫信源（ m阶M信源）。 定义：书50页 马尔可夫信源发出消息的方式体现在马尔可夫链的状态转移上，可以用条件概率（或称为转移概率）来描述这种转移。 马尔可夫过程和马尔可夫链的定义 定义1： 设X(t)为一个随机过程，若对任意的t1t2… tn时刻的随机变量X(t1)，X(t2)，…，X(tn)，有 P( xn; tn | xn－1, xn－2, …, x1; tn－1, tn－2, …, t1) = P( xn; tn | xn－1; tn－1) 则称X(t)为单纯马尔可夫过程或一阶马尔可夫过程。 K阶马尔可夫过程 定义2： 设X(t)为一个随机过程，若对任意的t1t2…tn –k… tn时刻的随机变量X(t1)，X(t2)，…，X(tn – k )，…，X(tn)，有 P( xn；tn|xn－1,xn－2…,xn–k,…,x1；tn－1,tn－2, …t