信息论编码及课件绪论.pptVIP

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 第1章 绪论 信息论的形成与发展 通信系统的模型 第1章 绪论 情报 知识 信息 消息 信号 1.1 信息论的形成和发展 信息 信息与消息、信号比较 消息是信息的数学载体、信号是信息的物理载体 信号：具体的、物理的 消息：具体的、非物理的 信息：非具体的、非物理的 信息的定义和性质 信息、消息、信号 信号最具体，它是一物理量，可测量、可显示、可描述，同时它又是载荷信息的实体 信息的物理层表达 消息是具体的、非物理的，可描述为语言文字、符号、数据、图片，能够被感觉到，同时它也是信息的载荷体。是信息论中主要描述形式 信息的数学层表达 信息是抽象的、非物理的，是哲学层表达。 信息的定义和性质 信息是具体信号与消息的内涵，是信号载荷的内容，是消息描述的对象。反过来，信号则是信息在物理表达上的外延，消息则是信息在数学表达上的外延。同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信息 先农关于“信息”的定义 关于信息的科学定义，目前已有百余种流行的说法，它们从不同的侧面和层次来揭示信息的本质 先农从研究通信系统传输的实质出发，对信息做出了科学的定义； 先农注意到：收信者在收到消息之前是不知道消息的具体内容的。通信系统消息的传输对收信者来说，是一个从不知到知的过程，或者从知之甚少到知之甚多的过程，或是从不确定到部分确定或全部确定的过程。 因此, 对于收信者来说, 通信过程是消除事物状态的不确定性的过程，不确定性的消除，就获得了信息，原先的不确定性消除的越多，获得的信息就越多。 信息是事物运动状态或存在方式的不确定性的描述，这就是先农关于信息的定义。 信息的度量 信息的度量（信息量）和不确定性消除的程度有关，消除了多少不确定性，就获得了多少信息量； 不确定性就是随机性，可以用概率论和随机过程来测度不确定性的大小，出现概率小的事件，其不确定性大，反之，不确定性小； 由以上两点可知：概率小 —— 信息量大，即信息量是概率的单调递减函数； 先农关于（自）信息量的度量(概率信息)）： 1.1 信息论的形成和发展 信息 定义 广义定义：信息是物质的普遍属性，所谓物质系统的信息是指它所属的物理系统在同一切其他物质系统全面相互作用（或联系）过程中，以质、能和波动的形式所呈现的结构、状态和历史 概率信息：信息表征信源的不定度，但它不等同于不定度，而是为了消除一定的不定度必须获得与此不定度相等的信息量 1.1 信息论的形成和发展 信息 性质 信息是无形的 信息是可共享的 信息是无限的 信息是无所不在的 信息是可度量的 1.1 信息论的形成与发展 信息论的发展过程 1924年，H Nyquist， 信息率与带宽联系 1928年，RV Hartley, 引入非统计信息量 1936年，EH Armstrong， 带宽与抗干扰能力 1936年，H Dudley, 发明声码机 40年代初，N Wiener, “控制论” 1948年，Shannon, “信息论” “A mathematical theory of communications”信息时代的里程碑 50年代开始，IRE成立信息论组，出版信息论汇刊 1.1 信息论的形成与发展 信息论的形成与发展 1959年，Shannon, 信源压缩编码理论，“Coding theorem for a discrete source with a fidelity criterion” 1961年，Shannon, “双路通信信道”，多用户理论 1972年，Cover, 广播信道 三大定理 无失真信源编码定理（第一极限定理） 信道编码定理（第二极限定理） 限失真信源编定理（第三极限定理） 1.2 通信系统的模型 通信系统模型方框图: 1.2 通信系统的模型 信源 信宿 信源编码和信源解码 有效性，去除冗余 信道编码和信道解码 可靠性，添加冗余 信道 加性噪声 乘性衰落 加密/解密 安全性 密钥 * * 2.4 先农关于信息定义和度量的优点和局限 优点： 它是一个科学的定义，有明确的数学模型和定量计算； 它与日常生活中关于信息的理解不矛盾； 它排除了对信息一词某些主观性的含义，是纯粹形式化的概念； 局限： 这个定义的出发点是假设事物的状态可