第4讲敏连续信源的熵与互信息量.pptVIP

连续信源的熵与互信息量;;离散无记忆信源：H ∞(X)= HL(X)=H(X);;系统1;连续信源的熵与互信息量; 输出消息取值上连续的信源，如语音，电视等， 对应的数学工具为连续型随机变量或随机过程。 连续信源输出的状态概率用概率密度来表示。 ;考虑一个定义在[a,b]区间的连续随机变量，如下图 ;其中;定义:连续随机变量的相对熵为;定义：连续随机变量的联合熵为;连续随机变量的联合熵、条件熵和互信息之间关系;连续随机变量的联合平均互信息量;连续随机变量X与离散随机变量Y联合联合熵、条件熵;例题 令X是在区间(a，b)上均匀分布的随机变量，求X的相 对熵。 解：x的概率密度为 注意:连续变量的微分熵不具有非负性 当 b－a 1 时， b－a 1 时， b－a=1 时， ;例 令X是数学期望为m，方差为 的正态随机变量，求 它的熵。 解：正态随机变量x的概率密度 它的值视 的大小可正、可负或零，且与数学期望无关。;均匀分布的连续信源的熵：; 设pXY是(xy)二维高斯概率密度函数 ; 例 X 和Y 的一维概率密度函数容易求得为 ;X 和Y 之间的平均互信息由定义有 奈特 表明，两个高斯变量之间的互信息只与相关系数有关，而与数学期望及方差和无关。 ;例:设原连续随机变量X是数学期望为m，方差为 的正态随机变量，经一个放大倍数为k的放大器放大输出为Y,求Y的相对熵。 解：y=kx为数学期望为km，方差为 的正态随机变量， 注意:相对熵值通过线性放大器后发生变化. ;指数分布的连续信源的熵：; 连续熵可为负值（为什么？连续熵的相对性所致） 可加性 平均互信息的非负性，对称性，信息处理定理 最大连续熵定理;峰值功率受限的最大熵定理 若连续随机变量X的峰值不超过M，即X限于(-M,M)内取值，则X的相对熵 ;峰值功率受限的最大熵定理 若连续随机变量X的峰值不超过M，即X限于(-M,M)内取值，则X的相对熵 ;证明：;峰值功率受限的最大熵定理 若连续随机变量X的峰值不超过M，即X限于(-M,M)内取值，则X的相对熵 ;证明：;均值受限的最大熵定理 若连续随机变量X非负的均值为M，则X服从指数分布时 的相对熵最大，即; 当平均功率受限时，高斯分布信源的熵最大，若令 其平均功率为 ，则其熵为 ;连续信源的剩余度;思考:;解：;;思考:;(c)令;本节小结;作 业