移动通讯原理4课件.ppt

第2章 信息论初步 王有政 微波与数字通信国家重点实验室 信息论的研究对象 内容涉及到信源编码和信道容量 内容 一、信息的度量 1.信息的概念 2.消息的统计特性及描述方法 3.离散信源的信息量 4.离散信源的熵 (平均信息量) 与互信息 5.连续信源的信息量 二、信道容量和香农公式 1.信道的定义 2.信道的数学模型 3.信道容量 (离散信道和连续信道) 4.香农公式讨论 1.1 信息的基本概念 信息：是消息的内容 消息：是信息的形式 Hartley和香农(C.E.Shannon)从消息的统计特性出发，从信息的不确定性和概率测度的角度定义了通信中信息量的概念，并给出了信息度量的方法。 1.2 消息的统计特性 描述方法：随机过程 1.3.1 离散信源的信息量 单一符号的信息量 u1u2u3…uN，ui?{xj}, j =1,…,k, 概率为P(xj) Hartley定义 单位： 对数以2为底，单位为比特 (bit) 对数以e为底，单位为奈特 (nit) 对数以10为底，单位为哈特莱 (Hartley) 1.3.2 随机序列的信息量 u1u2u3…uN，ui?{xj}, j=1,…,k, 概率为P(xj)，xj 出现的次数为nj 总信息量为： 1.3.3 多个信源与互信息 两个信源X和Y，它们所对应的符号分别为xi和yi 联合信息量 条件信息量 1.3.4 互信息 互信息表示X与Y的统计关联程度 互信息量 1.4.1离散信源的熵 香农熵：平均信息量 香农熵的性质 香农熵是非负的，即H(x) ? 0 香农熵具有上凸性，即H(x)是P(x)的上凸函数。 离散信源的最大香农熵 1.4.2 多个信源的熵 联合熵： 条件熵： 1.4.3 互信息 平均互信息 互信息的性质 I (X,Y) ≥ 0 I (X,Y) ＝ I (Y, X) I (X,Y) ≤ H (X), I (X,Y) ≤ H (Y) I (X,Y) 是概率P(x)的上凸函数，是转移概率Q(y/x)的下凸函数 1.4.4 熵的图形表示 1.4.5 信息论的基本概念 香农熵：信息的不确定性的量度 互信息：两个信源之间的相互关联性的量度 鉴别信息：不同概率分布之间的区别的量度 1.5.1 连续信源的熵 方法：离散区间取极限 微分熵 1.5.2 连续信源的最大熵 峰值受限：(幅度受限) 均方受限：(功率受限) 1.5.3 多个连续信源的熵 联合熵： 条件熵： 互信息 2.1 信道和信道容量 通信中，分为编码信道和调制信道 信道特性：采用转移概率分析 2.2 信道容量 定义：信道容量为单位时间内信道上所能传输的最大信息量。 互信息： 信息传输速率： 信道容量 2.3 有扰条件下连续信道的容量 其中：n为AWGN 转移概率密度函数： 信道的平均互信息量： 信号带宽：W 信道容量： 2.4 香农公式 平均功率受限条件下 香农公式 2.5 香农公式讨论 S/N (SNR) ?，C ? 如果N?0, SNR??，C??。无干扰信道的信道容量无穷大。 W ?，C ?，但趋于一个极限。因为W ?，N=W*n0 ?， 若C 为常数，W与SNR可以互换。 (扩频通信) 2.6 归一化信道容量---频谱效率 2.7 信道编码定理 信道容量为C，信源的信息速率为R，如果R?C，则存在一种信道编码方法实现无误传输。 3 小结 通过分析离散信源的信息量和香农熵，以及连续信源的微分熵引入了一种统计意义上的信息度量方法。并利用互信息的概念分析了信道的容量。 * * 先验概率：P(xi) 后验概率：P(xi/yj) 转移概率：P(yj/xi) P H(x) H(Y/X) H(X/Y) I(X,Y)