西安电子科技大学信息论与编码理论（专题讨论型）课件第五章 连续信源的数学模型及其信息测度.pptVIP

* 连续信源的数学模型及其测度 第五讲 信源的数学模型 信源的信息测度 随机变量、随机序列 简单离散信源：H(X) 离散无记忆信源：H ∞(X) 离散有记忆信源：H∞(X) Review = HL(X)=H(X) 离散信源 ≤ HL(X) ≤ H(X) 连续信源的数学模型及其测度 第五讲 输出消息取值上连续的信源，如语音，电视信源等，对应的数学工具为连续型随机变量或随机过程。 连续信源输出的状态概率用概率密度来表示。 连续信源的数学模型 考虑一个定义在在[a,b]区间的连续随机变量，如下图 ? ? ?首先把X的取值区间[a,b]分割为n个小区间，小区间宽度为 △=(b-a)/n，根据概率分布与概率密度曲线区间面积的关系 X取值为xi的概率为p(xi).△ ，于是得到离散信源Xn的概 率源空间为： p(x) p(xi) △ a 0 xi b x 连续熵 x1 x2 … xn p(x1)△ p(x2)△ … p(xn)△ 其中 按离散信源熵定义 当△→0，n→∞时，Xn接近于连续随机变量X，这时可得连续信源的熵为： 绝对熵 相对熵 x1 x2 … xn p(x1)△ p(x2)△ … p(xn)△ 定义 1) 连续熵为相对熵，其值为绝对熵减去一个无穷 大量(因为连续信源有无穷多个状态） 2) 连续熵不具有非负性，可以为负值； 4) 尽管连续信源的绝对熵为一个无穷大量，但信息论 的主要问题是信息传输问题，因此，当分析其互信 息量时是求两个熵的差，当采用相同的量化过程时， 两个无穷大量将被抵消，因而不影响分析。 3) 连续熵不等于一个消息状态具有的平均信息 量，其值是有限的，而信息量是无限的； 连续熵 连续变量的联合熵和条件熵 连续熵 平均互信息量 解：X的概率密度为 连续熵实例 例 令X是在区间(a，b)上为均匀分布的随机变量，求 X的相对熵。 注意:连续变量的微分熵不具有非负性 当b－a 1 时，HC(X)0 b－a 1 时， HC(X)0 b－a =1 时， HC(X)=0 它的值视 的大小可正、可负或零，且与数学期望无关。 连续熵实例 解：将正态随机变量的概率密度 求高斯分布的连续信源的熵。 均匀分布的连续信源的熵： 高斯分布的连续信源的熵： 连续熵实例 仅与区域的边界有关 与数学期望无关，仅与方差有关 设pXY是(xy)二维高斯概率密度函数 求X与Y的平均互信息。 连续熵实例 例 X 和Y 的一维概率密度函数容易求得为 连续熵实例 表明两个高斯变量之间的互信息只与相关系数有关 连续熵可为负值（连续熵的相对性所致） 可加性 平均互信息的非负性，对称性，信息处理定理 最大连续熵定理 连续熵的性质 峰值功率受限的最大熵定理 若连续随机变量X的峰值不超过M，即X限于(-M,M)内取值，则X的相对熵 当且仅当X为均匀分布时等号成立。 平均功率受限的最大熵定理 若连续随机变量X的方差为一定，则X服从正态分布时 的相对熵最大，即 连续信源与离散信源不同，1) 它不存在绝对最大熵;2) 其最大熵与信源的限制条件有关。 最大连续熵定理 峰值功率受限的最大熵定理 若连续随机变量X的峰值不超过M，即X限于(-M,M)内取值，则X的相对熵 当且仅当X为均匀分布时等号成立。 平均功率受限的最大熵定理 若连续随机变量X的方差为一定，则X服从正态分布时 的相对熵最大，即 最大连续熵定理 证明： 应用拉格朗日乘因子法，首先构造函数 由相对熵定义，可得 当且仅当 时，等号成立。 将其代入约束条件 可得 ，则有 于是有 X ∈ (-M,M) 峰值功率受限的最大熵定理 若连续随机变量X的峰值不超过M，即X限于(-M,M)内取值，则X的相对熵