教案ppt信息论第1章.pptVIP

第1章 绪 论 1.1　信息论的形成和发展 1.2　信息论的研究内容 1.3　信息的基本概念 1.4　通信系统模型简介 * * * 1.1　信息论的形成和发展 信息论的早期酝酿（19世纪到20世纪40年代） 编码技术产生：莫尔斯码、波多码 早期通信中发现的问题 信号的频带宽度和信噪比影响信道的通信容量。 通信的数量与质量相互制约：有效性和可靠性 抗干扰码的出现。 香农熵的产生 维纳、费希尔、香农几乎同时提出信息的度量形式 1948年，香农发表论文《通信的数学理论》，奠定了现代信息论的基础 * * 1.1　信息论的形成和发展 Claude Shannon (1916-2001) * * 1.1　信息论的形成和发展 信息论的建立与发展（1948～1980S） 对香农信息理论进行严格的数学描述与论证（1948～1960S） 香农信息论的发展（1970S～1980S） 率失真理论的发展 多用户信息论（网络信息论）的发展 代数编码理论的发展 * * 1.1　信息论的形成和发展 信息论近期发展（20世纪90年代后） 无失真编码的应用 有失真信源数据压缩编码的应用 调制解调码问题 汉字信息编码 图形码与存储介质码 * * 1.2　信息论的研究内容 狭义信息论（经典信息论） 主要研究信息的测度、信道容量及信源和信道编码理论等问题，又称香农基本理论 一般信息论（工程信息论） 主要研究信息传输和处理问题。除香农理论以外，还包括编码理论、噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等 广义信息论 不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题 √ * * 香农信息论 压缩理论 限失真信源编码 无失真信源编码 率失真理论 压缩编码 定长编码 定理 变长编码 定理 最优码构成 Huffman码 Fano码 传输理论 有噪声 信道编码理论 码构成 纠错码 代数编码 卷积码 网络信道 网络信息理论 网络最佳码 保密理论 保密系统的 信息理论 保密码 香农信息论的科学体系 * * 1.3　信息的基本概念 物质世界的三大支柱：物质、能量和信息 Without materials, there is nothing. 没有物质的世界是虚无的世界 Without energy, nothing happens. 没有能源的世界是死寂的世界 Without information, nothing makes sense. 没有信息的世界是混乱的世界 * * 信息的定义 从日常生活知识来理解 有关科学家的论述 香农：信息是事物运动状态或存在方式的不确定性的描述 艾什比：把信息定义为“差异度” 维纳：把信息定义为一种“组织性”的度量 有关哲学家的论述 信息是一切物质的属性 信息就是信息，不是物质也不是能量 英国牛津字典：信息是谈论的事情、新闻和知识 韦氏字典： 在观察研究过程中获得的数据情报、新闻和知识 日本广辞苑： 信息是所观察事物的知识 * * 消息、信号和信息 　消息（Message）： 信源发出的语言、文字、公式、数据、声音、图像等等。每个消息都是具体的，其内容千千万万，形式多种多样。 　信号（Signal）： 　　　替代消息并适合于在信道中传输的是连续或脉冲的电压、电流、电磁波及光波。 信源 信道 信宿 消息 (发送者) (收信者) 干扰或噪声 * * 消息、信号和信息 　信息（Information）： 信息是消息的内涵，是信号的价值，信息是能使信宿得以获知解惑的东西。 它应当是从千千万万不同形式不同内容的消息中抽象出来的、具有共性的、可定量测度的一个量，应该有它的单位和数学表达。 * * 消息、信号和信息 例一：扔硬币 正反面不确定 例二：天气预报 晴、多云、雨、雪、风：不确定 例三：足球比赛 胜负关系不确定 * * 消息、信号和信息 信号最具体，它是一物理量，可测量、可显示、可描述，同时它又是载荷信息的实体 消息是具体的、非物理的，可描述为语言文字、符号、数据、图片，能够被感觉到，同时它是信息的载荷体，是信息论中主要描述形式 信息是抽象的、非物理的 哲学层表达 信息的物理层表达 信息的数学层表达 * * 信息的特征 信息的基本概念在于它的不确定性，任何已确定的事物都不含信息。 接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容 信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识 信息可以产生，也可以消失，同时信息可以被携带、贮存及处理 信息是可以量度的，信息量有多少的差别 * * 信息的特征 信息的客观性 信息与载体的不可分割性 信息的价值性 信