信息论与编码11629.pptVIP

信源与信息熵 第二章 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度 本章重点 信源熵和离散/连续互信息 信源 信源 产生消息(符号)、消息序列和连续消息的来源 产生随机变量、随机序列和随机过程的源。 在通信系统中收信者在未收到消息以前对信源发出什么信息是不确定的,是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息,或者说用一个样本空间及其概率测度—概率空间来描述信源 信源的基本特性：具有随机不确定性。 香农信息论的基本点 用随机变量或随机矢量来表示信源 用概率论和随机过程的理论来研究信息 信源的分类 按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类 信源的分类 离散信源 指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。 2.1.1 无记忆信源 离散无记忆信源 所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。 离散无记忆信源 发出单个符号的信源 指信源每次只发出一个符号代表一个消息； 发出符号序列的信源 指信源每次发出一组含二个以上符号的符号序列代表一个消息 信源的描述 一个离散信源发出的各个符号消息的集合为： 信源的描述 连续信源： 输出在时间和幅度上都是连续分布的消息 单符号连续无记忆信源的概率空间 信源的描述 发出符号序列的信源 信源的描述 随机序列的概率 2.1.2 有记忆信源 一般情况下,信源在不同时刻发出的符号之间是相互依赖的，也就是信源输出的平稳随机序列X中，各随机变量Xl之间是有依赖的。 如在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。 表述有记忆信源要比表述无记忆信源困难得多 离散有记忆信源 所发出的各个符号的概率是有关联的。 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 概率论基础 无条件概率、条件概率、联合概率的性质和关系 ⑴ ⑵ ⑶ 概率论基础 无条件概率、条件概率、联合概率的性质和关系 ⑷ ⑸ ⑹ 2.1.3 马尔可夫信源 马尔可夫信源 一类相对简单的离散平稳信源 该信源在某一时刻发出字母的概率除与该字母有关外,只与此前发出的有限个字母有关 m阶马尔可夫信源： 信源输出某一符号的概率仅与以前的m个符号有关，而与更前面的符号无关。 条件概率 马氏链的基本概念 一阶马尔可夫信源： 马氏链的基本概念 令si = (xi1, xi2, …xim) xi1,,xi2, …xim ∈(a1, a2, …an) 状态集S ={ s1,s2,…,sQ} Q = nm 信源输出的随机符号序列为：x1, x2,…x i-1, x i… 信源所处的随机状态序列为：s1,s2,…si-1 ,si,… 例：二元序列为 考虑m = 3，Q = nm =23= 8 s1 = 000 s2 = 001 s3 = 010 s4 = 011…. S8 = 111 变换成对应的状态序列为 …s2 s3 s8 s5 s4 s6 s1… 马尔可夫信源 设信源在时刻m处于si状态,它在下一时刻(m+1)状态转移到sj的转移概率为： pij(m) = p{Sm+1=sj| Sm= si}=p{sj | si} pij(m)：基本转移概率（一步转移概率） 若pij(m)与m 的取值无关,则称为齐次马尔可夫链 pij= p{Sm+1=sj| Sm= si}= p{S2=sj| S1= si} pij具有下列性质： pij≥0 若信源处于某一状态si ,当它发出一个符号后,所处状态就变了,任何时候信源处于什么状态完全由前一时刻的状态和发出符号决定。 系统在任一时刻可处于状态空间S ={ s1,s2,…,sQ}中的任意一个状态,状态转移时,转移概率矩阵 马尔可夫信源 状态转移图 齐次马尔可夫链可以用其状态转移图(香农线图)表示 每个圆圈代表一种状态 状态之间的有向线代表某一状态向另一状态的转移 有向线一侧的符号和数字分别代表发出的符号和条件概率 马尔可夫信源 闭集： 状态空间中的某一子集中的任何一状态都不能到达子集以外的任何状态 不可约的： 闭集中除自身全体外再没有其他闭集的闭集 马尔可夫信源 一个不可约的、非周期的、状态有限的马尔可夫链其k步转移概率pij(k)在k→∞时趋于一个和初始状态无关的极限概率Wj，它是满足方程组 的唯一解； Wj ：马尔可夫链的一个平稳分布， Wj [