信息论基础与编码 工业和信息化普通高等教育十二五 规划教材立项项目 教学课件 作者 王军选 田小平 曹红梅 01章.pptVIP

信息论与编码 第一章 概论 1.1 信息的基本概念 1.2信息论研究的对象和内容 1.3信息论的发展 1.1 信息的概念 信息是信息论中最基本、最重要的概念，既抽象又复杂，信息在日常生活中被认为是“消息”、“知识”、“情报”等 1.1 信息的概念 1.1 信息的概念 就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。 消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型： 离散(数字)消息，一组未知量，可用随机序列来描述： X=(X1…Xi…Xn) 连续(模拟)消息，未知量，它可用随机过程来描述： X( t, ω) 1.1 信息的概念 什么是信息 关于信息的科学定义，到目前为止，国内外已有不下百余种流行的说法，它们都是从不同的侧面和不同的层次来揭示信息的本质的。 1928年，哈特莱(R．V．L Hartley)，在《信息传输》一文中提出：发信者所发出的信息，就是他在通信符号表中选择符号的具体方式 局限性： 定义不涉及到信息的价值和具体内容，只考虑选择的方式。 即使考虑选择的方法，但没有考虑各种可能选择方法