第3章 信息与信道1.pptVIP

第三章 信息与信道 3.1 信息论 3.2 信息的度量 3.3 信道与噪声 3．1 信息论 1．信息论基础 2．一般信息论 3．广义信息论 1．信息论基础 1948年，美国工程师香农发表了长篇论文《通信的数学理论》，论文以概率论为工具，系统地讨论了通信工程中的一系列基本理论问题，给出了计算信源信息量和信道容量的方法和一般公式，得出了一组表征信息传递重要关系的编码定理，从而奠定了信息论的基础。香农也被后人尊称为“信息论之父”。 香农信息论也称狭义信息论，主要研究信息的测度、信道容量、信息率失真函数，与这三个概念相对应的有香农三定理以及信源和信道编码。 2．一般信息论 一般信息论主要研究信息的传输和处理问题。除了香农的基本理论之外，还包括噪声理论、信号滤波和预测、统计检测与估值理论、调制理论。美国科学家维纳（N. Wiener）是这个领域的另一个代表人物。 虽然维纳和香农等人都是运用概率和统计数学的方法，研究准确或者近似再现消息的，但香农的研究对象是从信源到信宿的全过程，是收、发端联合最优化问题，重点是编码；而维纳的研究重点在接收端，研究如何在消息受到干扰的情况下（事实上这无可避免），在接收端将它从干扰中提取出来。 3．广义信息论 广义信息论是一门综合性的新兴学科，至今没有严格定义，它将研究从自然科学领域扩展到经济学和社会科学领域。任何系统，如神经传导系统、市场销售系统，