2-3章+信源编码.ppt

现代数字通信Ⅰ(第二、三章) 中国科学院大学 电子、电气与通信学院 第2章 概率论与随机过程 ☆2.1 概率(本科课程) ☆2.2 随机过程(本科或研究课程) 本章将对概率和随机过程作一扼要介绍,请参 考J.G.Proakis著 数字通信 3.1.1香农信息的定义 1948 年，香农在“通信的数学理论”中定义了信息是事物运 动状态或存在方式的不确定性, 并提出了信源和信道 编码定理; 称为香农的分离理论, 创建了信息论，为通信的 发展奠定了理论基础。 香农将信息量与信号源符号的概率分布联系起来, 从通信 出发首先给出了信息定义: 信息是亊物X (x1，x2，…， xN) 运动状态或存在方式的不确定性。不确定性即随机 性用数学表示它的信息量大小就是与事物的随机变量Xi 的对应概率P(Xi)的倒数取以2为底的对数即: I(Xi)=log(1/p(Xi) 3-1-2 为随机变量Xi的自信息。自信息是指某一信源发出某一 消息所含有的信息量。所发出的消息不同, 它们所含有的 信息也就不同。自信息是一个随机变量, 不能用来作为对 整个信源的信息测度。 3.1.1 熵的世界--信息熵 熵是一个极其重要的物理量, 但却又以其难理解而 闻名于世(麦克斯韦妖,永动机之幻想… )。 克劳修斯1865年从热力学二定理首先引入熵概念 :