第一章10山东省山东大学通信原理朱维红老师课件经典通信原理课件光芒闪耀经久不衰课件.ppt

1.4 信息及其度量 P(x)越小， I越大； 反之， I越小， 且  P(x)→1时， I→0 P(x)→0时， I→∞ 若干个互相独立事件构成的消息， 所含信息量等于各独立事件信息量之和，也就是说，信息具有相加性， 即  I［P(x1)P(x2)…］=I［P(x1)］+I［P(x2)］+… Copyrights Zhu, Weihong 1.4 信息及其度量 故定义某一消息的信息量 I 与消息出现的概率 P(x) 之间的关系 a = 2 单位为bit（常使用） a = e 单位为奈特（nat） a = 10 单位为哈特莱(也称笛特（Det）)或称十进制单位 Copyrights Zhu, Weihong 1.4 信息及其度量 注意1： I 非负. 所以对数的底数必须大于 1. 底数为 2, 单位为比特 （bit）；底数为e，单位为奈特(nat). 注意2: I(a) 是随机变量. 自信息的含义： 在事件发生前，自信息表示事件发生的不确定性。 在事件发生后，自信息表示事件所包含的信息量，是提供给信宿的信息量，也是解除这种不确定性所需要的信息量 Copyrights Zhu, Weihong Copyrights Zhu, Weihong Definition 6.1.1. 一个离散随机变量 X 的熵（即X所含的平均信息量）是它的PMF的函数，定义如下： 注意: H(X) 是一个数，不是随机变量. 单位 1.4 信息及其度量 信源的平均信息量（信息熵 information entropy） 离散无记忆信源 离散信源是一个由n个符号组成的符号集， 其中每个符号 xi(i=1, 2, 3, …, n) 按概率 P(xi) 独立出现， 且有 P(xi)=1，其数学模型为 则该信源每个符号所含的平均信息量（信源的熵）为 Copyrights Zhu, Weihong Copyrights Zhu, Weihong Example 请计算下述离散无记忆二进制信源的信息熵。 Solution Copyrights Zhu, Weihong Figure 6.1 二进制熵函数 当 p=0.5, 熵达到最大 1.4 信息及其度量 当信源中每个符号等概独立出现时，信源的熵有最大值。 连续信源的信息熵（相对熵） Copyrights Zhu, Weihong 1.5 主要性能指标 有效性 数据传输速率-----码元速率和信息速率 码元速率RB----单位时间（秒）传送的码元数目，单位：波特（Band）。若每个码元的长度为 T 秒，则 信息传输速率 Rb----单位时间内传递的平均信息量 ，单位比特/秒，b/s 或bps。 Copyrights Zhu, Weihong 1.5 主要性能指标 码元 (Symbol ， 数字消息)：一个码元由k 比特组成，该k 比特就是一个单元，可用于表示来自有限码元集或字母表中的消息码元mi (i=1,2,…, M) 。字符集的大小为M=2k ，其中 k 为码元的比特数。 对于基带传输, 每个码元 mi 用一组基带脉冲波形 g1(t), g2(t),…, gM(t) 之一来表示。传送这些脉冲序列的速率（或码元速率，注码元速率=1/T ，其中T为一个码元的持续时间），用单位波特(Baud)来表示)。对于典型的带通传输，买个脉冲gi(t) ，都由带通波形s1(t), s2(t),…, sM(t) 之一来表示。 在无线系统中，码元mi通过在T 秒内发送数字波形 si(t) 来实现。下一个码元将在下一个T 内发送。数字通信系统所发送的码元是有限符号集中的一个。 Copyrights Zhu, Weihong 1.5 主要性能指标 例: 若数据速率为2400b/s, 采用四进制数字传输，码元速率是多少？. Solution: RB=Rb /log2M=2400/log4=1200 Baud Copyrights Zhu, Weihong Copyrights Zhu, Weihong Example 一个带宽为 4000Hz 以奈奎斯特速率抽样。 假设其抽样序列可以建模成一个字符集为 A={-2,1,0,1,2} 的DMS 相应的概率为 {1/2,1/4,1/8,1/16,1/16},求信源的速率（b/s) Solution : 首先，有 其中 Rb 为信息速率. 1.5 主要性能指标 频带利用率----单位带宽内的传输速率 可靠性 保真度和差错率 误码率 Pe 和误信率 Pb Copyrights Zhu, Weihong