第二章 信源与信源熵.ppt

第二章 信源及信源熵 2. 1 信源的描述和分类 2. 2 离散信源熵和互信息 2. 3 连续信源的嫡和互信息 2. 4 离散序列信源的熵 2. 5 冗余度 重点：信源熵和互信息 难点：离散序列信源的熵 2.1 信源的描述和分类 信源是信息的来源。信源的产生消息、消息序列以及连续消息的来源。信源具有不确定性，可用概率统计特性来描述。 一、信源的分类 1、按照信源每次输出符号的个数可分为单符号信源和多符号信源。 单符号信源：是最简单也是最基本的信源，是组成实际信源的基本单元。信源每次输出一个符号，通常用离散随机变量和其概率分布来表示。 多符号信源：信源每次发出一个符号序列，用随机矢量来表示。  其中，为输出序列，共有q = 中可能取值。 2、按照时间和取值上的离散和连续性分类。 离散信源是时间上和幅度上都是离散分布的信源，根据信源发出符号之间的依赖关系可分为无记忆信源、有限记忆信源和无限记忆信源。 离散无记忆信源：发出单个符号的无记忆信源； 发出符号序列的无记忆信源； 离散有记忆信源： 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 二、离散平稳无记忆信源 平稳信源：若当t=i,t=j,有,则称信源是一维平稳的，即任意两个不同时刻信源发出的符号的概率分布完全相同。若一维平稳信源还满足，则称信源是二维平稳的，即任意时刻信源连续发出两个符号的联合概率分布也完全相同。如果各维联合概率分布均与时间起点无关，则称信源的完全平稳的，简称离散平稳信源。 无记忆信源：信源发出符号出现的概率与前面符号无关。常见的无记忆信源有投硬币、掷骰子等等。 无记忆信源各变量组成的随机序列的概率是各变量概率的乘积， 即p(x) = p(x1x2…xL)= p(x1) p(x2)…p(xL)= 无记忆信源包括单个符号的无记忆信源和符号序列的无记忆信源，常见的单个符号的无记忆信源有书信文字、计算机的代码、电报符号、阿拉伯数字码等等。这些信源输出的都是单个符号（或代码）的消息，它们符号集的取值是有限的或可数的。 单符号无记忆信源可以用一维的随机变量及其概率分布来表示。 例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。可以用一个离散型随机变量X来描述这个信源输出的消息。 并满足 符号序列的无记忆信源可以用概率矢量来表示。将一维的单符号无记忆信源进行N维扩展可得到符号序列的无记忆信源。 例如投三次硬币，“1”代表正面朝上，“0”代表反面朝上。 三、马尔科夫信源 若信源在某一时刻发出的符号概率除与该符号有关外，还与此前的符号有关，则此类信源为有记忆信源。如果与前面无限个符号有关，为无限记忆信源；如果仅与前面有限个符号有关，为有限记忆信源。 有记忆信源序列的联合概率与条件概率有关 将这有限个符号记为一个状态，在信源发出的符号概率除与次符号有关外，只与该时刻所处的状态有关，信源将来的状态及其发出的符号只与信源当前的状态有关，而与信源过去的状态无关。这种信源的一般数学模型就是马尔可夫过程，所以称这种信源为马尔可夫信源。 马氏链的基本概念 m阶马尔可夫信源：信源输出某一符号的概率仅与以前的m个符号有关，而与更前面的符号无关。 p(xt|xt-1,xt-2, xt-3,…xt-m,…x1) = p(xt|xt-1,xt-2, xt-3,…xt-m) 令si = (xi 1 xi 2 …xi m) i1,i2…im ∈(1,2, …q) m个字母组成的各种可能的序列就对应于信源全部可能的状态S. 状态集S ={ s1,s2,…,sQ} Q = qm 信源输出的随机符号序列为：x1,x2,…x i-1, x i… 信源所处的随机状态序列为：s1,s2,…si-1 ,si,… 例：二元序列为 考虑m = 2，Q = qm =22= 4 s1 = 00 s2 = 01 s3 = 10 s4 = 11 变换成对应的状态序列为…s2 s3 s2 s4 s4 s3 s1… 设信源在时刻m处于si状态，它在下一时刻(m+1)状态转移到sj的转移概率为： pij(m) = p{Sm+1=sj| Sm= si}={sj | si} pij(m)：基本转移概率（一步转移概率）、 若pij(m)与m 的取值无关，则称为齐次(时齐)马尔可夫链。 pij= p{Sm+1=sj| Sm= si}= p{S2=sj| S1= si} pij具有下列性质：pij≥0 类似地，定义k步转移概率为pij（k）= p{Sm+k=sj| Sm= si} 由于系统在任一时刻可处于状态空间S ={ s1,s2,…,sQ}