2.1单符号离散信源.ppt

第2章 信源熵 并不是我们注意到的每一件事都重要，也不是每一件重要的事我们都注意到了。 爱因斯坦（1879-1955） 信源的统计特性 在信息论中，确切的说，信源是产生消息（符号）、消息序列和连续消息的来源。从数学上看，由于消息的不确定性，信源是产生随机变量、随机序列和随机过程的源。 其次，讨论信源的统计特性。客观信源的基本特性是具有随机不确定性。 信源的分类讨论 首先讨论离散单个消息（符号）信源，又称单符号离散信源。它是最简单的，也是最基本的信源，是组成实际信源的基本单元。 其次，讨论实际信源。实际信源不可能只发送单个消息（符号），对离散信源而言，发送的一组消息（符号序列）串，即一个随机序列（多符号离散信源）；对连续信源而言，发送的则是一随机过程（连续信源）。 实际问题中，连续的模拟信源往往采用以下两种方法进行分析： 一是将连续信源离散化为随机序列信源，再采用前面的随机序列信源进行分析； 二是直接分析连续模拟信源，但是由于数学上的困难，只能分析单个连续消息变量的信源。 有三类最常用展开式：付氏级数展开、取样函数展开、K-L展开 第2章 信 源 熵 主要内容 2.1单符号离散信源 2.2多符号离散平稳信源及熵 2.3连续信源及熵 2.4离散无失真信源编码定理 基本要求 掌握信源的分类及对应的数学模型 掌握熵和互信息量/平均互信息量的定义、性质 掌握离散无失真信源编码定理 2.1 单符号离散信源 单符号离散信源定义——Def: （1）单符号离散信源：信源输出的消息是离散消息，且每个符号表示一条消息。用离散随机变量表示。 记作：大写字母。 （2）多符号离散信源：信源输出的消息是离散消息，且多个符号表示一条消息。用随机矢量表示。 （3）连续信源：信源输出的消息是连续消息。用随机过程表示。 单符号离散信源的数学模型 —离散型的概率空间 设信源输出集合为X, 每个符号出现的概率记作： 则其数学模型可以表示为 注：大写字母：表示随机变量，指信源整体 小写字母加下标：表示随机事件的某一结果，即信源的某个元素。 单符号离散信源数学模型举例 你开着一辆车。在一个暴风雨的晚上。你经过一个车站。有三个人正在焦急的等公共汽车。 一个是快要临死的老人，他需要马上去医院。 一个是医生，他曾救过你的命，你做梦都想报答他。 还有一个女人/男人，她/他是你做梦都想嫁/娶的人，也许错过就没有了。 但你的车只能在坐下一个人，你会如何选择？ 所有的选择形成一个信源集合，记作X 每种选择出现的概率记作 该信源的数学模型为： 信息量 自信息量 联合自信息量 条件自信息量 互信息量 自信息量 def：离散信源符号集合X中某一符号 作为一条消息发出时，对外提供的信息量。 自信息量的计算：某事件发生概率的对数的负值。 I的单位取决于底数a 1 nat=1.433bit 1 Hart=3.322bit 自信息量的性质 非负性 说明：任何随机事件发生后，总能对接收者提供一些信息量，最差是零。 ： 自信息量是事件发生概率的单调递减函数 不确定度和自信息量的关系 def：随机事件 发生以前具有不确定度，发生以后或者收到以后不确定度消失，但是对外提供了自信息量。 所以自信息量是用来消除不确定度的。二者等量，但一个处于接收前，另一个处于接收后。与概率都是反比关系。 在无噪信道中，事件 发生后，能准确无误地传输到收信者，所以自信息量 可以代表收到消息 后获得信息量。这是因为消除了不确定性，才获得了这么多的信息量。 信息量 自信息量 联合自信息量 条件自信息量 互信息量 联合自信息量 def：两个事件同时发生时对外提供的信息量。 定义为：二维联合集XY上的联合概率的对数负值。 记作： X、Y相互独立时 信息量 自信息量 联合自信息量 条件自信息量 互信息量 条件自信息量 def：联合集XY中，事件 在 已经发生的情况下再发生时对外提供的自信息量。 定义为：条件概率的对数负值。 注意： 三种自信息量之间的关系： 信息量 自信息量 联合自信息量 条件自信息量 互信息量 互信息量 def：信源发 同理 互信息量的其他表达形式及各自的物理意义 从输出端观察 例： 互信息量的其他表达形式及各自的物理意义 从输入端观察 互信息量的其他表达形式及各自的物理意义 从整体通信系统观察 互信息量的基本性质 （1）对称性 （2） . 互信息量可正可负 例：信源 信宿收到Y= =”不是晴天”，求 分别与 之间的互信息量。 解 ： 方法二：利用： 熵 信源熵