现代通信原理技术和仿真第1章 绪论.pptVIP

　　　1.1　通信技术的发展与展望　　1. 通信的发展简史　　2. 中国通信的发展历程 　　1.2　信息、 信息量与信道容量公式1.2.1　消息、 信号与信息　　简单地讲， 信息就是消息或信号随机变化中的“不确定性”， 是消息中所含的待知的本质内容。 获取信息就是消除对消息的不确定性。 信息是一个含义广泛、 抽象的概念。各种随机变化的消息都含有一定量的信息， 如社会科学中的经济信息、 生活信息和科研中的地震信息、 气象信息等。 1.2.2　信息量　　信息论中定义消息包含的信息量为消息出现概率的倒数的对数， 即 　　　　　　　　　　　　　 (1.1)式中: I为消息包含的信息量； P为消息出现的概率； a为对数的底。 a取值不同， 信息量的单位不同。 当a为2时， 信息量的单位为比特(bit)； 当a为10时， 单位为哈特莱(Hartley)； 当a为e时， 单位为奈特(nat)。 一般情况下， 都以比特为信息量的单位， 即取a=2。 　　例如， 当消息出现的概率P=1/2时， 此消息包含的信息量为1 bit。 若有M个独立等概出现的消息， 每个消息出现的概率为1/M， 则消息的信息量为　　　　　　　　　　　　　　　　　　　　　　 (1.2) 　　信息量在工程上的定义是指传输该消息所需的最少的二进制脉冲数。 当传输两个互相独立且等概出现的消息时， 要区别这两种消息， 最少需要1位二进制脉冲， 因此该消息出现带来的信息量为1 bit。 若要传输四个独立等概的消息之一， 则至少需2位二进制脉冲， 因此， 消息具有2 bit的信息量。 若有M个独立等概的消息之一要传送， 且满足M=2k(k=1， 2, 3, …)， 则此消息可用k个二进制脉冲传递， 即此消息包含的信息量为k bit。 实际上， 该消息的信息量为 I=lbM=lb2k=k (bit) 　　可以看出， 工程上定义的信息量与直观理解的信息量是一致的。 　　一般消息是由符号来表达的， 消息所含的信息量即符号所含的信息量， 所以式(1.1)中的P是消息出现的概率， 也就是符号出现的概率。 　　信息量满足相加性的条件： 如果收到的不是一个而是若干个互相独立的消息， 则总的信息量应该是每个消息的信息量之和， 即　　　　　　　　　　　　　　　　　 (1.3)式中: ni为第i种符号出现的次数； P(xi)为第i种符号出现的概率; m为消息中符号的种类数。 1.2.3　平均信息量　　一般来说， 信源可以产生多个独立的消息(或符号)， 每个消息发生的概率可能并不相等， 所以每个消息的信息量也不相同。 这种情况下， 通常考虑每个消息(或符号)所含信息量的统计平均值， 称为信源的平均信息量。 　　信源的平均信息量的计算是由每个消息的信息量按概率加权求和得到的。 例如， 一个信源由A、 B、 C三种符号组成， 出现A的概率为P(A)， 出现B的概率为P(B)， 出现C的概率为P(C)， 则信源的平均信息量为　　 　　　　　　　　　　　　　　　　　　　　 (1.4) 　　更一般地说， 在由n个独立的符号x1， x2， …， xn所构成的信源中， 每个符号出现的概率分别为P(x1)，P(x2)， …， P(xn)， 且　　　　　　， 则此信源的平均信息量为　　　　　　　　　　　　　　　　　　　 (1.5)式中， H(x)为信源的平均信息量。 由于H(x)的定义与统计热力学中熵的定义相似， 所以称H(x)为信源的熵(Entropy)， 其单位为比特/符号。 　　【例1.1】　一消息由0、 1、 2、 3四种符号组成， 各符号出现的概率分别为3/8、 1/4、 1/4和1/8。 消息总长57 个符号， 其中0出现23次， 1出现14次， 2出现13次， 3出现7次。 求该消息的总信息量。 　　解： 解法一： 利用信息量的相加性计算， 即 　　解法二： 利用平均信息量计算, 即　　由此可见， 两种方法计算的信息量相差很小， 消息的符号越多， 其误差也越小。 　　【例1.2】　某信源的符号集由A、 B、 C、 D和E组成， 设每一个符号独立出现， 出现的概率分别为1/4、 1/8、 1/8、 3/16和5/16。 试求该信源的平均信息量。 　　解： 信源的平均信息量即为信源的熵， 由式(1.5)得: 　　如