信息论及编码第1章绪论.pptVIP

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 第1章 绪论 信息论的形成与发展 通信系统的模型 1.1 信息论的形成与发展 信息论的发展过程 1924年，H Nyquist， 信息率与带宽联系 1928年，RV Hartley, 引入非统计信息量 1936年，EH Armstrong， 带宽与抗干扰能力 1936年，H Dudley, 发明声码机 40年代初，N Wiener, “控制论” 1948年，Shannon, “信息论” “A mathematical theory of communications”信息时代的里程碑 50年代开始，IRE成立信息论组，出版信息论汇刊 1.1 信息论的形成与发展 信息论的形成与发展 1959年，Shannon, 信源压缩编码理论，“Coding theorem for a discrete source with a fidelity criterion” 1961年，Shannon, “双路通信信道”，多用户理论 1972年，Cover, 广播信道 1.1 信息论的形成和发展 三大定理 无失真信源编码定理（第一极限定理） 信道编码定理（第二极限定理） 限失真信源编定理（第三极限定理） Shannon信息论：在噪声环境下，可靠地、安全地、有效地传送信息理论 ----狭义信息论 1.1 信息论的形成和发展 信息 定义 广义定义：信息是物质的普遍属性，所谓物质系统的信息是指它所属的物理系统在同一切其他物质系统全面相互作用（或联系）过程中，以质、能和波动的形式所呈现的结构、状态和历史 概率信息：信息表征信源的不定度，但它不等同于不定度，而是为了消除一定的不定度必须获得与此不定度相等的信息量 1.1 信息论的形成和发展 信息 性质 信息是无形的 信息是可共享的 信息是无限的 信息是无所不在的 信息是可度量的 1.1 信息论的形成和发展 信息 信息与消息、信号比较 消息是信息的数学载体、信号是信息的物理载体 信号：具体的、物理的 消息：具体的、非物理的 信息：非具体的、非物理的 信息的定义和性质 信息、消息、信号 信号最具体，它是一物理量，可测量、可显示、可描述，同时它又是载荷信息的实体 信息的物理层表达 消息是具体的、非物理的，可描述为语言文字、符号、数据、图片，能够被感觉到，同时它也是信息的载荷体。是信息论中主要描述形式 信息的数学层表达 信息是抽象的、非物理的，是哲学层表达。 信息的定义和性质 信息是具体信号与消息的内涵，是信号载荷的内容，是消息描述的对象。反过来，信号则是信息在物理表达上的外延，消息则是信息在数学表达上的外延。同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信息 1.2 通信系统的模型 通信系统模型方框图: 1.2 通信系统的模型 信源 信宿 信道 加性噪声 乘性衰落 1.2 通信系统的模型 信源编码和信源解码 有效性，去除冗余 信道编码和信道解码 可靠性，添加冗余 加密/解密 安全性，密钥 * * 信源 信宿 信源 编码 加密 信源 译码 解密 信道 编码 信道 译码 信道 干扰 噪声