重庆邮电大学 通信原理—绪论.ppt

信息及其度量 从常识的角度来感觉三条消息： ① 太阳从东方升起； ② 太阳比往日大两倍； ③ 太阳将从西方升起 。 第一条几乎没有带来任何信息 第二条带来了大量信息 第三条带来的信息多于第二条 第一事件是一个必然事件，人们不足为奇； 第三事件几乎不可能发生，它使人感到惊奇和意外，也就是说，它带来更多的信息 信息含量是与惊奇这一因素相关联的，这是不确定性或不可预测性的结果。 越是不可预测的事件， 越会使人感到惊奇，带来的信息越多。 信息及其度量 根据概率论知识，事件的不确定性可用事件出现的概率来描述。 可能性越小，概率越小；反之，概率越大。 因此， 消息中包含的信息量与消息发生的概率密切相关。消息出现的概率越小，消息中包含的信息量就越大。 信息及其度量 假设P(x)是一个消息发生的概率，I是从该消息获悉的信息根据上面的认知， 显然I与P(x)之间的关系反映为如下规律： （1） 信息量是概率的函数， 即  I= f［P(x)］ （2） P(x)越小， I越大； 反之， I越小， 且  P(x)→1时， I→0 P(x)→0时， I→∞ （3） 若干个互相独立事件构成的消息， 所含信息量等于各独立事件信息量之和，也就是说，信息具有相加性， 即  I［P(x1)P(x2)…］=I［P(x1)］+I［P(x2)］+… 信息及其度量 信息量I与消息出现的概率P(x)之间的关系应为  信息量的单位与对数底数a有关。 a=2时， 信息量的单位为比特(bit)； a=e时，信息量的单位为奈特(nit)； a=10时， 信息量的单位为十进制单位，叫哈特莱。 目前广泛使用的单位为比特。 【例】 设二进制离散信源， 以相等的概率发送数字0或1，则信源每个输出的信息含量为 I(0)=I(1)=log22=1 (bit) 传送等概率的二进制波形之一(P=1/2）的信息量为1比特。 传送等概率的四进制波形之一（P=1/4）的信息量为2比特，这时每一个四进制波形需要用2个二进制脉冲表示； 传送等概率的八进制波形之一（P=1/8）的信息量为3比特，这时至少需要3个二进制脉冲。 对于离散信源，M个波形等概率（P=1/M）发送，且每一个波形的出现是独立的，即信源是无记忆的，则传送M进制波形之一的信息量为 信息及其度量 信息及其度量 如果是非等概情况，设离散信源是一个由n个符号组成的符号集， 其中每个符号xi(i=1, 2, 3, …, n)出现的概率为P(xi)， 且有P(xi)=1, 则x1, x2, …, xn 所包含的信息量分别为 -log2 P(x1), -log2 P(x2)， …，-log2 P(xn)。于是，每个符号所含信息量的统计平均值，即平均信息量为 通常又称它为信息源的 熵，其单位为bit/符号。 显然，当信源中每个符号等概独立出现时，此时信源的熵有最大值 。 信息及其度量 【例】 一离散信源由0， 1， 2， 3四个符号组成，它们出现的概率分别为3/8, 1/4, 1/4, 1/8，且每个符号的出现都是独立的。试求某消息201020130213001203210100321010023102002010312032100120210的信息量。  解 此消息中，0出现23次，1出现14次，2出现13次，3出现7次，共有57个符号，故该消息的信息量为 每个符号的算术平均信息量为 信息及其度量 若用熵的概念来计算 可见，两种算法的结果有一定误差，但当消息很长时， 用熵的概念来计算比较方便。 而且随着消息序列长度的增加， 两种计算误差将趋于零。 主要性能指标（重点） 通信的任务是快速、准确地传递信息。 评价一个通信系统优劣的主要性能指标是系统的有效性和可靠性。 有效性是指在给定信道内所传输的信息内容的多少，或者说是传输的“速度”问题； 可靠性是指接收信息的准确程度，也就是传输的“质量”问题。这两个问题相互矛盾而又相对统一，通常还可以进行互换。  主要性能指标 模拟通信系统的有效性可用有效传输频带来度量，同样的消息用不同的调制方式，则需要不同的频带宽度。可靠性用接收端最终输出信噪比来度量。 数字通信系统的有效性可用传输速率来衡量。 可靠性可用差错率来衡量 T T T 主要性能指标 A 二进制 0 T T/2 T/3 符号 比特 码元宽度 码元宽度 码元宽度 比特宽度 比特 宽度 比特 宽度 码元 码元 四