信息论与编码--第一章要点解析.pptVIP

* * * * * * * 信息论与编码 梁春燕 liangchunyan@sdut.edu.cn 9# 307 “要有效地生活，就要有足 够的信息。” ——Norbert Wiener Without materials nothing exists. Without energy nothing happens. Without information nothing makes sense. —— A.G.Oettinger * 构成一切系统的三大要素 第1章 绪 论 信息的定义 信息论概述 通信系统模型 信息的定义 信息论概述 通信系统模型 信息的定义 辞海 音讯、消息 通信系统传输和处理的对象，泛指消息和信号的具体内容和意义 牛津英语词典(information) 通过各种方式可以被传递、传播、表达、感受的，以声音、图像、文件所表征，并与某些特定事实、主题或事件相联系的消息、情报、知识都可以统称为信息 * 信息的定义 科学名词 信息≠情报 情报是人们对于某个特定对象所见、所闻、所理解产生的情况的汇报 信息≠知识 知识是通过学习、实践或探索所获得的认识、判断或技能 信息≠消息 * 信息的定义 科学名词 信息≠消息 用文字、符号、数据、语言、音符、图片、图像等能够被人们感官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就称为消息 消息是包含信息的语言、文字和图像等，是信息的感觉媒体 信息（Shannon信息/统计信息） 事物运动状态或存在方式的不确定性的描述 事物运动的状态及状态变化的方式 * 信息的定义 科学名词 信息 vs 消息 通信系统中传输的形式是消息，消息是担负着传送信息任务的单个符号或符号序列 通信的实质：通过消息的传递，消除不确定性，从而获得信息 信息≠信号 为了在信道上传输消息，必须把消息加载（调制）到具有某种物理特征的信号上去 信号是消息的物理体现 * 信息的定义 科学名词 信息 vs 消息 vs 信号 信息存在于消息中，同一信息可以用不同的消息表达 信号是表示消息的物理量，信号可通过参量的变化表示不同的消息 可以用不同类型的信号传递同一消息 * 通信：将发送端的消息在接收端进行精确或近似 地再现；传输的本质是信息 * 信源 信道 信宿 消息 干扰源 编码器 译码器 信号 信号+干扰 消息 （发送端） （接收端） The fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another point. 信息的定义 信息论的研究问题 通信系统模型 信息论的意义 信息论、控制论、系统论称为现代信息科学的三大理论基石 “如果把现代通信技术比喻成飞船，则晶体管是它的引擎，而信息论是它的方向盘。” ——著名的通信理论家Viterbi 信息论是通信的数学基础，堪称是通信中的哲学 * 信息论的形成与发展 * Claude Shannon (1916-2001) The fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another point. 信息论的研究内容 狭义信息论（经典信息论、香农信息论） 主要研究如何有效、可靠地传递信息，涉及信息测度、信道容量、信源编码和信道编码理论等问题 一般信息论（工程信息论） 主要研究信息传输和处理问题。除香农理论以外，还包括编码理论、噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等 广义信息论 不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题 * 信息论的研究内容 狭义信息论（香农信息论）：为设计可靠、有效的通信系统提供理论依据 可靠：要使信源发出的消息经过传输后，尽可能准确地、无失真或限定失真地再现在接收端 有效：用尽可能短的时间和尽可能少的资源来传输最大的信息 * 误码率 传输速率 信