式的正态分布的概率密度函数其中.PPTVIP

* 冗余度 对于有记忆信源,极限熵为H∞(X)。 这就是说我们需要传送这一信源的信息,理论上只需要传送H∞(X)即可。但必须掌握信源全部概率统计特性,这显然是不现实的。 实际上,只能算出Hm(X)。那么与理论极限值相比,就要多传送Hm(X)－H∞(X)。 为了定量地描述信源的有效性,定义: 信息效率 冗余度 * 冗余度 由于信源存在冗余度,即存在一些不必要传送的信息,因此信源也就存在进一步压缩其信息率的可能性。 信源冗余度越大,其进一步压缩的潜力越大。这是信源编码与数据压缩的前提与理论基础。 例：英文字母： 等概率 H0 = log27 = 4.76比特/符号 不等概率 H1 = 4.03比特/符号 考虑相关性 H2 = 3.32比特/符号 极限熵 H∞ =1.4比特/符号 冗余度 英语文章有71%是由语言结构定好的,只有29%是自由选择 本章小结 * 信源的描述 一个离散信源发出的各个符号消息的集合为： 它们的概率分别为 p(xi): xi的先验概率 单符号离散信源的数学模型—概率空间 a,b,c,…z * 00 01 11 10 状态转移概率矩阵 符号条件概率矩阵 (1)1/2 (1)3/4 (0)1/3 (0)1/4 (0)1/2 (0)1/5 (1)2/3 (1)4/5 s2 s1 s4 s3 马尔可夫信源 * 稳态分布概率 稳态后的符号概率分布 * 离散信源熵和互信息 问题： 什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？ * 离散信源熵和互信息 问题： 什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定理是如何描述的？ 熵的性质有哪些？ * 自信息量 设离散信源X，其概率空间为 I (xi) 含义: 当事件xi发生以前,表示事件xi 发生的不确定性 当事件xi发生以后,表示事件xi所含有的信息量 * 自信息量 自信息量 条件自信息量 联合自信息量 * 离散信源熵 离散信源熵H(X) 信源熵具有以下三种物理含意： 信息熵H(X)表示信源输出后,每个离散消息所提供的平均信息量。 信息熵H(X)表示信源输出前,信源的平均不确定性。 信息熵H(X)反映了变量X的随机性 。 * 信源熵 无条件熵 条件熵 联合熵 * 互信息 互信息 定义为 xi的后验概率与先验概率比值的对数 互信息I(xi;yj)表示接收到某消息yj后获得的关于事件xi的信息量。 * 平均互信息 平均互信息定义 信息= 先验不确定性－后验不确定性 = 不确定性减少的量 Y未知,X 的不确定度为H(X) Y已知,X 的不确定度变为H(X |Y) * 维拉图 H(X|Y) H(X) H(Y) H(XY) H(Y|X) I(X;Y) * 收发两端的熵关系 I(X;Y) H(X) H(Y) H(X/Y)疑义度 H(Y/X)噪声熵 * 马尔可夫信源的信息熵 齐次、遍历的马尔可夫信源的熵 * 概率论基础 无条件概率、条件概率、联合概率的性质和关系 ⑴ ⑵ ⑶ * 概率论基础 无条件概率、条件概率、联合概率的性质和关系 ⑷ ⑸ ⑹ * 例 一个二元二阶马尔可夫信源,其信源符号集为{0,1}信源开始时：p(0) = p(1) = 0.5发出随机变量X1。 下一单位时间：输出随机变量X2与X1有依赖关系 x2 x1 0 1 0 0.3 0.4 1 0.7 0.6 p(x2|x1) 再下一单位时间：输出随机变量X3与X2X1有依赖关系 x3 x1 x2 00 01 10 11 0 0.4 0.2 0.3 0.4 1 0.6 0.8 0.7 0.6 p(x3|x1x2) * 从第四单位时间开始，随机变量Xi只与前面二个单位时间的随机变量Xi-2Xi-1有依赖关系: p(xi| xi-1 xi-2…x2 x1) = p(xi| xi-1 xi-2) (i＞3) 且 p(xi| xi-1 xi-2) = p(x3| x2x1) (i＞3) 解: 设信源开始处于s0状态,并以等概率发出符号0和1,分别到达状态s1和s2 : 若处于s1 ,以0.3和0.7的概率发出0和1到达s3和s4 若处于s2,以0.4和0.6的概率发出0和1到达s5和s6 00 01 10 11 (0)0.5 (1)0.5 (0)0.3 (0)0.4 (1)0.7 (1)0.6 s1 s2