信源的描述和分类材料.pptVIP

信源与信息熵 第二章 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度 本章重点 信源熵和离散/连续互信息 信源 信源 产生消息(符号)、消息序列和连续消息的来源 产生随机变量、随机序列和随机过程的源。 在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的,是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息,或者说用一个样本空间及其概率测度—概率空间来描述信源 信源的基本特性：具有随机不确定性。 香农信息论的基本点 用随机变量或随机矢量来表示信源 用概率论和随机过程的理论来研究信息 信源的分类 按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类 信源的分类 离散信源 指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。 2.1.1 无记忆信源 例：一个布袋内放100个球，其中80个红色，20个白色。若随机取一个球，看它的颜色。将这样的试验看成一种信源，请描述该信源。 2.1.1 无记忆信源 离散无记忆信源 所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。 离散无记忆信源 发出单个符号的信源 指信源每次只发出一个符号代表一个消息； 发出符号序列的信源 指信源每次发出一组含二个以上符号的符号序列代表一个消息 信源的描述 一个离散信源发出的各个符号消息的集合为： 离散信源的统计特性 离散消息是从有限个符号组成的符号集中选择排列组成的随机序列（组成离散消息的信息源的符号个数是有限的） 在形成消息时，从符号集中选择各个符号的概率不同 。 组成消息的基本符号之间有一定的统计相关特性 。 信源的描述 连续信源： 输出在时间或幅度上是连续分布的消息 单符号连续无记忆信源的概率空间 信源的描述 发出符号序列的信源 例：80个红球，20个白球，随机摸两个，描述该信源（有放回）。 信源的描述 随机序列的概率 2.1.2 有记忆信源 一般情况下,信源在不同时刻发出的符号之间是相互依赖的，也就是信源输出的平稳随机序列X中，各随机变量Xl之间是有依赖的。 如在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。 表述有记忆信源要比表述无记忆信源困难得多 离散有记忆信源 所发出的各个符号的概率是有关联的。 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 概率论基础 无条件概率、条件概率、联合概率的性质和关系 ⑴ ⑵ ⑶ 概率论基础 无条件概率、条件概率、联合概率的性质和关系 ⑷ ⑸ ⑹ 2.1.3 马尔可夫信源 马尔可夫信源 该信源在某一时刻发出字母的概率除与该字母有关外,只与此前发出的有限个字母有关 m阶马尔可夫信源： 信源输出某一符号的概率仅与以前的m个符号有关，而与更前面的符号无关。 条件概率 马氏链的基本概念 一阶马尔可夫信源 马氏链的基本概念 对于m阶马尔可夫信源，将该时刻以前出现的m个符号组成的序列定义为状态si 令si = (xi1, xi2, …xim) xi1,,xi2, …xim ∈(a1, a2, …an) 状态集S ={ s1,s2,…,sQ} Q = nm 信源输出的随机符号序列为： x1, x2, …x i-1, x i… 信源所处的随机状态序列为： s1, s2, …si-1, si, … 例：二元序列为 考虑m = 2，Q = nm =22= 4 s1 = 00 s2 = 01 s3 = 10 s4 = 11 变换成对应的状态序列为 …s2 s3 s2 s4 s4 s3 s1… 马尔可夫信源 当信源符号出现后，信源所处的状态将发生变化，并转入一个新的状态。这种状态的转移可用状态转移概率表示为： p（sj | si），i , j =1,2,…Q。 更一般地，在时刻m系统处于状态si的条件下，经n-m步后转移到状态的概率用pij(m,n)表示: pij(m,n) = p{Sn=sj| Sm= si}=p{sj | si} 其中si ,sj ∈S 马尔可夫信源 设信源在时刻m处于si状态,它在下一时刻(m+1)状态转移到sj的转移概率为： pij(m) = p{Sm+1=sj| Sm= si}=p{sj | si} pij(m)：基本转移概率（一步转移概率） 若pij(m)与m