信息论总复习..pptx

基础信息论电子与信息工程系 涂来email: tulai@hust.edu.cn南一楼 东南角5楼 通软中心础信息论———总复习关于考试院系统一安排不超出课件中内容不涉及课件中补充内容第2章 不考2.1.4，2.2.5，2.3.4第3章不考3.2.3，3.4第4章仅涉及4.1，4.4第5章仅涉及5.1（仅5.1.1~5.1.4）第6章仅涉及课件中信道编码相关概念与信道编码定理考试题型一、填空题（每空2分，共20分）二、简答题（每题6分，共30分）三、计算题（4题，共50分）说明：无证明题一、二：涉及概念理解和很简单的计算课程内容1 绪论2 信源熵2.0 信源的数学模型及其分类2.1 信息的度量与信源熵2.2 多符号离散平稳信源2.3 连续信源2.4 离散无失真信源编码定理3 信道容量3.1 信道模型信道容量3.2 多符号离散信道 3.3 连续信道 4 信息率失真函数 5 信源编码 6 信道编码定理 第1章 绪论1. 绪论信源信源编码信道编码信道信道译码信源译码信宿SUCXY?VS++n解密译码加密编码噪声源信息论的研究目的建立传输系统模型，找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，这四者构成现代信息系统对信息传输的全面要求。 通信系统模型课程的研究内容(1) 什么是信息？如何度量信息？ 自信息量 互信息量(2) 如何计算信源输出中，平均含有多少信息量？ 熵(3) 对于一个给定的信道，它传输信息量的最高极限如何计算？ 信道容量(4) 为了能够无失真地传输信源信息，对信源编码时所需最少的码符号数如何计算？ 香农第一定理(5) 在有噪信道中，有没有可能以接近信道容量的信息传输率传输信息而错误概率几乎为零？ 香农第二定理(6) 如果对信源编码时允许一定量的失真，所需最少的码符号数如何计算？ 香农第三定理(7) 编码的基本思路？常见的一些基本编码方法的编码步骤信息的分类方法信息具有三方面特征：语法（反映客观性）语义（既有客观性、又有主观性）语用（反映主观性）信息的主观属性（语用、语义）是影响对信息进行度量的主要因素，这些属性与人的主观性有关，很难准确地进行量化表达。基于以上考虑，香农大胆地去掉了信息在语义和语用方面的因素，只保留消息的语法属性，从而使得使用数学工具定量度量信息成为可能。信息分类方法的一种C. E. Shannon香农香农信息1948年，香农在《A Mathematical Theory of Communication》中提出了三种假设：信息与消息、信号间的区别第2章 信息熵2. 信息熵2.0 信源的数学模型及其分类离散/连续；平稳/非平稳；2.1 信息的度量与信源熵重点：信息量与熵的概念、性质、应用2.2 多符号离散平稳信源平均符号熵与极限熵的相关知识；马尔可夫信源。2.3 连续信源微分熵的定义及性质；最大熵定理；熵功率2.4 离散无失真信源编码定理（香农第一定理）信源的分类随机变量离散信源：可能输出的消息数有限连续信源：可能输出的消息数是无限的或不可数的非平稳信源马尔可夫信源：输出的随机序列X中各随机变量之间有依赖关系，但记忆长度有限，并满足马尔可夫链的条件式随机序列离散平稳信源：输出的随机序列X中每个随机变量取值是离散的，并且随机矢量X的各维概率分布不随时间平移而改变平稳信源离散无记忆信源的N次扩展信源：输出的平稳随机序列X中各随机变量统计独立。每个随机变量xi取值于同一概率空间。每N个符号构成一组，等效为一个新的信源连续平稳信源随机过程{x(t)}：随机波形信源信源输出的消息是时间（或空间）上和取值上都是连续的函数有限记忆信源：输出的平稳随机序列X中各随机变量之间有依赖关系，但记忆长度有限第2章 信源熵2.0 信源的数学模型及其分类2.1 信息的度量与信源熵2.2 多符号离散平稳信源2.3 连续信源2.4 离散无失真信源编码定理2.1 信息的度量与信源熵2.1.1 自信息量自信息量的定义与性质联合自信息量条件自信息量几种自信息量间的关系2.1.2 平均自信息量与信源熵平均自信息量的引出信源熵的定义条件熵与联合熵熵的主要性质及定理2.1.3 互信息量与平均互信息量2.1.4 各种熵之间的关系信息的度量定义：任意随机事件的自信息量定义为该事件发生概率的对数的负值。 是一个随机量，而 是 的函数，所以自信息量也是一个随机变量，它没有确定值，引出平均自信息量，信源熵。香农先生给出, 他参考了哈特莱的定义自信息量定义自信息量的性质1.具有非负性2. 当 时，3. 当 时，4.是的单调递减函数。联合自信息量与条件自信息量涉及两个随机变量的离散信源，其联合概率分布为：定义：二维联合集XY上的元素 的联合自信息量定义为：定