第2章-1.pptVIP

信源与信息熵 第二章 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度 本章重点 信源熵和离散/连续互信息 信源 信源 产生消息(符号)、消息序列和连续消息的来源 产生随机变量、随机序列和随机过程的源。 在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的,是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息,或者说用一个样本空间及其概率测度—概率空间来描述信源 信源的基本特性：具有随机不确定性。 香农信息论的基本点 用随机变量或随机矢量来表示信源 用概率论和随机过程的理论来研究信息 信源的分类 按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类 信源的分类 离散信源 指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。 2.1.1 无记忆信源 离散无记忆信源 所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。 离散无记忆信源 发出单个符号的信源 指信源每次只发出一个符号代表一个消息； 发出符号序列的信源 指信源每次发出一组含二个以上符号的符号序列代表一个消息。 信源的描述 一个离散信源发出的各个符号消息的集合为： 离散信源的统计特性 离散消息是从有限个符号组成的符号集中选择排列组成的随机序列（组成离散消息的信息源的符号个数是有限的） 在形成消息时，从符号集中选择各个符号的概率不同 。 组成消息的基本符号之间有一定的统计相关特性 。 信源的描述 连续信源： 输出在时间和幅度上都是连续分布的消息 单符号连续无记忆信源的概率空间 信源的描述 发出符号序列的信源 信源的描述 随机序列的概率 2.1.2 有记忆信源 一般情况下,信源在不同时刻发出的符号之间是相互依赖的，也就是信源输出的平稳随机序列X中，各随机变量Xl之间是有依赖的。 如在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。 表述有记忆信源要比表述无记忆信源困难得多 离散有记忆信源 所发出的各个符号的概率是有关联的。 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 概率论基础 无条件概率、条件概率、联合概率的性质和关系 ⑴ ⑵ ⑶ 概率论基础 无条件概率、条件概率、联合概率的性质和关系 ⑷ ⑸ ⑹ 2.1.3 马尔可夫信源 马尔可夫信源 一类相对简单的离散平稳信源 该信源在某一时刻发出字母的概率除与该字母有关外,只与此前发出的有限个字母有关 m阶马尔可夫信源： 信源输出某一符号的概率仅与以前的m个符号有关，而与更前面的符号无关。 条件概率 马氏链的基本概念 一阶马尔可夫信源： 马尔可夫信源 设信源在时刻m处于si状态,它在下一时刻(m+1)状态转移到sj的转移概率为： pij(m) = p{Sm+1=sj| Sm= si}=p{sj | si} pij(m)：基本转移概率（一步转移概率） 若pij(m)与m 的取值无关,则称为齐次马尔可夫链 pij= p{Sm+1=sj| Sm= si}= p{S2=sj| S1= si} pij具有下列性质： pij≥0 若信源处于某一状态si ,当它发出一个符号后,所处状态就变了,任何时候信源处于什么状态完全由前一时刻的状态和发出符号决定。 系统在任一时刻可处于状态空间S ={ s1,s2,…,sQ}中的任意一个状态,状态转移时,转移概率矩阵 马尔可夫信源 状态转移图 齐次马尔可夫链可以用其状态转移图(香农线图)表示 每个圆圈代表一种状态 状态之间的有向线代表某一状态向另一状态的转移 有向线一侧的符号和数字分别代表发出的符号和条件概率 马尔可夫信源 遍历状态： 非周期的、常返的状态,如图中的状态s2和s3 不可约的： 对任意一对i和j，从si开始总能到达sj 马尔可夫信源 一个不可约的、非周期的、状态有限的马尔可夫链其k步转移概率pij(k)在k→∞时趋于一个和初始状态无关的极限概率Wj，它是满足方程组 的唯一解； Wj ：马尔可夫链的一个平稳分布， Wj [p(sj)]就是系统此时处于状态sj的概率。 例 例2-2：有一个二元二阶马尔可夫信源,其信源符号集为{0，1}，已知符号条件概率： p(0|00) = 1/2 p(1|00)=1/2 p(0|01) = 1/3 p(1|01)=2/3 p(0|10) = 1/4 p(1|10)=3/4 p(0|11) = 1/5 p(1|11)=4/5 求： ⑴信源全