第1章 信源模型及信息的度量.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 消息序列的熵 无记忆信源（统计独立） 有记忆信源——用信源发送一个符号序列的 联合概率描述 连续信源的熵定义： 典型联系信源分布概率： 均匀分布 高斯分布 指数分布 常用公式 3.H(XY)=H(X)+H(Y/X) 或 H(XY)=H(Y)+H(X/Y) 4.I(Y;X) =H(X)-H(X/Y) 或 H(Y)- H(Y/X) 习题 例1： 假设一次掷两个各自均匀、互相可区分又互不相关的骰子。求： （A）仅有一个骰子是3的自信息量； （B）至少有一个骰子是4的自信息量； （C）骰子上点数的总和为偶数的自信息量； （D）信源熵 （E）两点之和的熵 解： 事件A发生的概率为： p(A)=nA/N=2×(1/6 × 5/6)=5/18 I(A)=-log p(A)=1.8480 bit 事件B发生的概率为： p(B)=nB/N=1-(5/6 × 5/6)= 11/36 I(B)=-log p(B)=1.7105 bit 事件C发生的概率为： p(C)=nC/N=1/2 I(C)=-log p(C)=1 bit 解： （D）因为是均匀分布，所以每种情况概率为1/36： （E）新的信源的信源空间： 例2：设有一连续随即变量，其概率密度函数为 求随机变量的熵 2013 * * * * * * * * * * * * * * * * * * * * * * (3) 平均互信息的非负性 Ic(X;Y) = Hc(X) – Hc(X/Y) Ic(Y;X) = Hc(Y) – Hc(Y/X) 对称性—— Ic(X;Y) = Ic(Y;X) 非负性—— Ic(X;Y) ≥0 , Ic(Y;X) ≥0 条件熵不大于无条件熵 Hc(X/Y) ≤Hc(X) 连续熵的性质 互信息与熵的关系： 应用中，互信息有更大价值。 由于互信息采用比值，避免了无穷大问题 最大相对熵定理 极值性、上凸性 相对熵具有极大值 单维连续信源X的相对熵h(X)的最大值，是概率 密度函数p(x)的函数。 1. 峰值功率受限（取值区间受限）： 均匀分布相对熵最大 q(x)为在[a,b]上任意分布 p(x)为在[a,b]上均匀分布 其中运用了詹森不等式，因而 物理概念理解： 当峰值功率受限时，也就是输出值范围受限。要得到最大熵就要求充分利用输出范围，在输出范围内均匀分布。这与离散信源相似。 2. 平均功率受限 q(x)为在[-∞, ∞]上的任意分布 高斯分布相对熵最大 p(x)为在[-∞, ∞]上高斯分布 其中运用了詹森不等式，因而 物理概念理解 当输出平均功率受限时，高斯分布具有最大熵，因为对于平均功率受限来说，指信号为白噪声信号，对于这种情况来说最大的信息量只能从最没有规律的信号中获得。从频域考虑，高斯分布白噪声是在功率谱上的均匀分布。 OFDM 被称之为“第四代移动通信技术”，其核心技术为OFDM。正交频分复用OFDM (Orthogonal Frequency Division Multiplexing)是一种无线环境下的高速传输技术。 OFDM广泛用干各种数字传输和通信中，如移动无线FM信道，高比特率数字用户线系统(HDSL)，不对称数字用户线系统(ADSL)，甚高比特率数字用户线系统HDSI〕，数字音频广播(DAB)系统，数字视频广播(DVB)和HDTV地面传播系统。 §1.6 信源的相关性和剩余度 信源符号前后依赖关系越长，则信源的熵越小 当且仅当信源符号间彼此无依赖、等概率分布时，信源的熵最大 离散信源的剩余度 作为参考 信源剩余度?衡量信源的相关性程度（亦称多余度） 熵的相对率：一个信源实际的信息熵与具有相同符号集的最大熵的比值。 信源剩余度：1减去熵的相对率。 内熵：信源最大可能熵与实际熵的差定义为内熵 定义：某一信号与它等熵的高斯信源的平均功率称为熵功率。 其中h为信源的熵 熵功率 连续信源的剩余度 信号的平均功率和熵功率的差 被称为连续信源的剩余度。 高斯分布的信源剩余度为0。 例：计算英文字母组成的信源的剩余度 26个英文字母加上空格，其可能的最大熵为： 当且仅当各字母等概率出现 实际英文字母的出现概率是很不均匀的！ 英文字母（含空格）出现概率表 字母 概率 字母 概率 字母