信源与信息熵.pptVIP

信源与信息熵 第二章 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度 信源 1、信源的基本特性：具有随机不确定性。 通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的,是随机的，所以用随机变量、随机序列或随机过程来描述信源 2、信源 产生消息(符号)、消息序列和连续消息的来源 产生随机变量、随机序列和随机过程的源。 香农信息论的基本点 用随机变量或随机矢量来表示信源 用概率论和随机过程的理论来研究信息 信源的分类 1、信源分成离散信源和连续信源两大类 信源的分类 2）离散信源 指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。 2.1.1 无记忆信源 1、定义：无记忆信源 所发出的各个符号是相互独立、不关联的 2、分类：离散型无记忆信源 连续型无记忆信源 离散型无记忆信源 1）发出单个符号的无记忆信源 指信源每次只发出一个符号代表一个消息；各个符号之间离散 2）发出符号序列的无记忆信源 指信源每次发出一组含二个以上符号的符号序列代表一个消息；各个元组符号离散 离散单个符号的无记忆信源 一个离散信源发出的各个符号消息的集合为： 离散符号序列的无记忆信源 一个离散信源发出的各个符号消息的集合为： 连续型无记忆信源 1）发出单个符号的无记忆信源 指信源每次只发出一个符号代表一个消息；各个符号之间连续 2）发出符号序列的无记忆信源 指信源每次发出一组含二个以上符号的符号序列代表一个消息；各个元组符号之间连续 单符号连续无记忆信源 2.1.2 有记忆信源 1、定义：一般情况下,信源在不同时刻发出的符号之间是相互依赖、相互关联的 2、分类： 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 概率论基础 无条件概率、条件概率、联合概率的性质和关系 ⑴ ⑵ ⑶ 概率论基础 无条件概率、条件概率、联合概率的性质和关系 ⑷ ⑸ ⑹ 2.1.3 马尔可夫信源 1、马尔可夫信源 一类相对简单的离散平稳信源 该信源在某一时刻发出字母的概率除与该字母有关外,也有此前发出的有限个字母有关 2、m阶马尔可夫信源： 信源输出某一符号的概率仅与以前的m个符号有关，而与更前面的符号无关。 条件概率（第L个符号只与前m个符号有关） 马尔可夫信源 3、一阶马尔可夫信源： 马氏链的基本概念 1、 状态： 令si = (xi1, xi2, …xim) xi1,,xi2, …xim ∈(a1, a2, …an) 状态集S ={ s1,s2,…,sQ} Q = nm 信源输出的随机符号序列为：x1, x2,…x i-1, x i… 信源所处的随机状态序列为：s1,s2,…si-1 ,si,… 例：二元序列为 考虑m = 2，Q = nm =22= 4 s1 = 00 s2 = 01 s3 = 10 s4 = 11 变换成对应的状态序列为 …s2 s3 s2 s4 s4 s3 s1… 转移矩阵 1、一步 转移概率（简称为转移概率） 设信源在时刻m处于si状态,它在下一时刻(m+1) 转移到sj状态的转移概率为： pij(m)=pij(m,m+1) = p{Sm+1=sj| Sm= si}=p{sj | si} 2、k步转移概率 设信源在时刻m处于si状态,经过k步转移到sj状态的转移概率为： pij(m,m+k) = p{Sm+k=sj| Sm= si}=p{sj | si} 3、齐次马尔可夫链 若pij(m)与时刻m 的取值无关,则称为齐次马尔可夫 链。 齐次马尔可夫链 1、齐次马尔可夫链下的一步转移概率 pij(m) = p{Sm+1=sj| Sm= si}= pij 2、齐次马尔可夫链下的k步转移概率 pij(m,m+k) = p{Sm+k=sj| Sm= si}=pij(k) 注： 平稳信源的概率分布具有时间推移不变性，而齐次 马尔可夫链的转移概率也具有时间推移不变性。平稳 含齐次，反之不行。 平稳信源的转移概率使用齐次马尔可夫链下的转移概率 马尔可夫信源 状态转移概率矩阵 系统在任一时刻可处于状态空间S ={ s1,s2,…,sQ}中的任意一个状态,状态转移时对应矩阵 马尔可夫信源 状态转移图 齐次马尔可夫链可以用其状态转移图(香农线图)表示 每个圆圈代表一种状态 状态之间的有向线代表某一状态向另一状态的转移 有向线一侧的符号和数字分别代表m时刻发出的符号和条件概率 例2-1，如图所