信息论基础课件.pptxVIP

通信原理第一章 概论与基础知识?信息论基础何永琪北京大学电子学系TelMobilemail：heyongqi@pku.edu.cn通信系统基本问题*服务质量信噪比性/误码率性能抗干扰能力抵御/补偿线性/非线性失真能力纠错能力传输带宽带宽资源带宽利用率色散与非线性效应的抑制能力传输距离传输损耗高发射功率低接收灵敏度性价比系统实现复杂度系统单位比特成本大 纲概述消息的统计特性信息的度量离散信源的信息量连续信源的信息度量信道容量和香农公式关于信息论?1/2定义：研究信息的基本性质与度量方法、信息的获取、传输、存贮、处理和变换的一般规律的科学应用：由通信的发展中产生，已渗透到化学、物理学、生物学和心理学等许多领域发展：随着计算机技术的发展，信息处理和利用也飞速发展，人类对信息重要性的认识逐步深化理论基础：概率论关于信息论?2/2里程碑：1924年：奈魁斯特等人研究了通信系统传输信息的能力，并试图度量系统的信息量，开始了现代信息论的研究1947年：诺伯特·维纳研究自行火炮，发表了题为《控制论》的专著，提出了控制论1948年：克芬特·仙农研究密码通信，发表了他的著名论文《通信的数学理论》，奠定了信息论的基础，第一次把信息通信领域的概念确切化，而且从概率论的观点，提出了信息量的概念。他所建立的信息论包括三大内容：信源理论、信道理论和信息失真函数理论信息、消息与信号消息是随机、无法预知的预先确知的消息不会给接收者带来 任何信息，无传递意义只有消息中不确定的内容才构成信息消息分类：离散消息：消息数有限连续消息：消息数无限信息是消息的内涵信号是消息的载体通信能传输信号，但不一定是传递信息通信系统的目标：传递信息信源的输出是随机的，只能用统计方法来描述通信系统传输能力的衡量，需要对信息进行定量度量大 纲概述消息的统计特性信息的度量离散信源的信息量连续信源的信息度量信道容量和香农公式离散消息统计特性?1/2离散消息可看作一种有限状态的随机序列，采用离散型随机过程来描述统计独立消息的概率场分布：离散消息统计特性?2/2统计关联消息的概率场分布：当前出现的符号的概率与先前出现过的符号相关联，需采用条件概率来描述通常只考虑当前一个符号对后一个符号的影响，这是马尔可夫链问题马尔可夫链含义：在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的数学描述方法：转移概率矩阵连续消息统计特性连续信源所产生的消息数无限，消息取值也无限，其统计特性需采用概率密度函数来描述统计关联消息的描述需采用二维或多维概率密度函数通常只考虑各态经历的平稳随机过程大 纲概述消息的统计特性信息的度量离散信源的信息量连续信源的信息度量信道容量和香农公式信息的度量?1/2信息度量原理信息量与消息出现概率相关：消息出现的可能性越小，消息所携带的信息越多信息量与消息持续时间相关：信息量随消息持续时间的增加而增加消息的信息量：仅反映概率对数以2为底时，信息量单位为比特（bit），应用最广对数以e为底时，信息量单位为奈特（nit）信息的度量?2/2信息量的基本性质： 极限情况：若干相互独立事件构成的消息，所含信息量等于各独立事件信息量之和，即：大 纲概述消息的统计特性信息的度量离散信源的信息量连续信源的信息度量信道容量和香农公式离散信源的信息量?1/3统计独立离散信源的信息量： 概率场分布：信息量计算：两个离散信源的信息量：普遍公式：统计独立情形：离散信源的信息量?2/3示例：离散信源由0， 1， 2， 3四个符号组成，它们出现的概率分别为3/8, 1/4, 1/4, 1/8，且每个符号的出现都是独立的。试求某消息201020130213001203210100321010023102002010312032100120210的信息量。 解：离散信源的概率场分布为：此信源中，0出现23次，1出现14次，2出现13次，3出现7次，共有57个符号，故该消息的信息量为：离散信源的信息量?3/3互信息量：问题提出：对通信系统的发送信源消息X与接收消息Y，通常发送信源消息的概率场 （先验概率）已知；接收机每接收一个符号yi均需重新评估发送符号xi的出现概率分布 （后验概率）先验概率与后验概率：先验概率：概率场已知后验概率：条件概率互信息量：后验概率与先验概率之比的对数，即：数学意义：两个随机过程的关联程度物理意义：接收机能够接受到发送信源的信息程度极限状态：离散信源的平均信息量?1/2信息＝负熵； 熵＝缺乏信息＝无知 平均信息量（信源熵）的基本定义：每个符号所含信息量的统计平均值信源熵的物理意义：信源中每个离散消息所提供的平均信息量信源的不确定度信源变量X的随机性信源熵