第三章离散信源..pptVIP

3.1 信源的数学模型及分类 离散信源：可能输出的消息是有限的或可数的，每次只输出一个消息，即两两不相容。 数学模型： 连续信源：可能输出的消息数是无限的或不可数的，每次只输出一个消息。 数学模型： 离散平稳信源：输出的随机序列 中每个随机变量 取值是离散的，并且随机矢量X的各维概率分布不随时间平移而改变。 连续平稳信源：输出的随机序列 中每个随机变量 取值是连续的，并且随机矢量X的各维概率密度函数不随时间平移而改变。 离散无记忆信源：离散信源在不同时刻发出的符号之间是无依赖的，彼此统计独立的。 离散无记忆信源X的N次扩展信源：由离散无记忆信源输出N长的随机序列构成的信源。 数学模型：X信源空间的N重空间 有记忆信源：输出的随机序列X中各随机变量之间有依赖关系，但记忆长度有限。 m阶马尔可夫信源：信源每次发出的符号只与前m个符号有关，与更前面的符号无关。 时齐马尔可夫信源:上述条件概率与时间起点i无关 随机波形信源：信源输出的消息是时间（或空间）上和取值上都是连续的函数。 3.2离散无记忆信源 离散信源只涉及一个随机事件，可用离散随机变量来表示。 数学模型 X，Y，Z代表随机变量，指的是信源整体； 代表随机事件的某一结果或信源的某个元素。不可混淆! 信源熵数学描述 信源熵 定义：信源各个离散消息的自信息量的数学期望（即概率加权的统计平均值）为信源的平均信息量，一般称为信源的信息熵，也叫信源熵或香农熵，有时也称为无条件熵或熵函数，简称熵。 公式： 熵函数的自变量是X,表示信源整体，实质上是无记忆信源平均不确定度的度量。试验后平均信息量为熵 单位：以2为底，比特/符号 为什么要用熵这个词与热熵的区别？ 3.3 多符号离散平稳信源 信源每次输出的不是一个单个的符号,而是一个符号序列。通常一个消息序列的每一位出现哪个符号都是随机的,而且一般前后符号之间的出现是有统计倚赖关系的,这种信源称之为多符号离散信源。 信源所发符号序列的概率分布与时间的起点无关，这种信源我们称之为多符号离散平稳信源。 序列信息的熵 如果有一个离散无记忆信源X，取值于集合 ，其输出消息序列可用一组组长度为N的序列来表示。即等效于一个新的信源。新信源每次输出的是长度为N的消息序列，用N维离散随机矢量来描述X= ，其中每个分量 都是随机变量，它们都取值于同一集合 ，且分量之间统计独立，则由随机矢量X组成的新信源称为离散无记忆信源X的N次扩展信源。 离散无记忆信源X的N次扩展信源(或称序列信源)的熵就是离散信源X的熵的N倍。 理解 3.4 离散平稳信源的数学模型 对于随机变量序列 ，若任意两个不同时刻i和j,信源发出消息的概率分布完全相同，则称这种信源为一维平稳信源。 除上述条件外，如果联合概率分布也与时间起点无关，则称信源为二维平稳信源。这种信源在任何时刻发出两个符号的概率完全相同。 各维联合概率均与时间起点无关的完全平稳信源称为离散平稳信源。 离散平稳信源的信源熵和极限熵 N维离散平稳有记忆信源的熵 离散平稳信源有记忆信源的联合熵 表示平均发一个消息(由N个符号组成)所提供的信息量。从数学角度出发，信源平均发一个符号所提供的信息量应为 我们称 为平均符号熵，当 时，平均符号熵取极限值，称为极限熵或极限信息量，即 对于离散平稳信源，当 时，具有以下性质： 条件熵 随N的增加是非递增的； N给定时，平均符号熵 条件熵； 平均符号熵 随N增加是非递增的； 3.5马尔科夫信源 马尔科夫信源的概念 m阶马尔科夫信源的数学模型 m阶马尔科夫信源的极限熵等于m阶条件熵。 m阶马尔科夫信源与消息长度为m的有记忆信源的区别 3.6 信源冗余度及信息变差 由数据处理定理及离散熵的性质有 表明信源的记忆长度越长,熵就越小；即信源符号的相关性越强，所提供的平均信息量就越小。 定义：信源熵的相对率为信源实际的信息熵与同样符号数的最大熵的比值；信源的冗余度为1减去信源熵的相对率，冗余度也称为多余度，剩余度或富余度。 信息变差 冗余度的公式表明：信源的符号数一定，符号间的记忆长度越长，极限