2.1+单符号离散信源+.pptVIP

信源的统计特性 在信息论中，确切的说，信源是产生消息（符号）、消息序列和连续消息的来源。 从数学上看，由于消息的不确定性，信源是产生随机变量、随机序列和随机过程的源。 其次，讨论信源的统计特性。 客观信源的基本特性是具有随机不确定性。 信源的分类讨论 首先讨论离散单个消息（符号）信源，又称单符号离散信源。 它是最简单的，也是最基本的信源，是组成实际信源的基本单元。 其次，讨论实际信源。 实际信源不可能只发送单个消息（单符号离散信源）。 对离散信源而言，发送的若是一组消息串（符号序列），即一个随机序列（多符号离散信源）； 对连续信源而言，发送的则是一随机过程（连续信源）。 连续信源 实际问题中，连续的模拟信源往往采用以下两种方法进行分析： 一是将连续信源离散化为随机序列信源，再采用前面的随机序列信源进行分析； 有三类最常用离散化方法： 付氏级数对应的傅里叶变换 取样函数 K-L变换 二是直接分析连续模拟信源，但是由于数学上的困难，只能分析单个连续消息变量的信源。 第2章 信 源 熵 主要内容 2.1单符号离散信源 2.2多符号离散平稳信源及熵 2.3连续信源及熵 2.4离散无失真信源编码定理 基本要求 掌握信源的分类及对应的数学模型 掌握熵和互信息量/平均互信息量的定义、性质 掌握离散无失真信源编码定理 2.1 单符号离散信源 单符号离散信源定义——Def: （1）单符号离散信源：信源输出的消息是离散消息，且每个符号表示一条消息。 用离散随机变量表示。 记作：大写字母。 （2）多符号离散信源：信源输出的消息是离散消息，且多个符号表示一条消息。 用随机矢量表示。 （3）连续信源：信源输出的消息是连续消息。 用随机过程表示。 自信息量 自信息量 def：离散信源符号集合X中某一符号 作为一条消息发出时，对外提供的信息量。 自信息量的计算：某事件发生概率的对数的负值。 I的单位取决于底数a 自信息量 自信息量的性质 非负性 说明：任何随机事件发生后，总能对接收者提供一些信息量，最少是零。 ： 自信息量 自信息量是事件发生概率的单调递减函数 自信息量 不确定度和自信息量的关系 def：随机事件 发生以前具有不确定度，发生以后或者收到以后不确定度消失，但是对外提供了自信息量。 所以自信息量 可以代表收到消息 后获得信息量。 这是因为消除了不确定性，才获得了这么多的信息量。 所以自信息量是用来消除不确定度的。 二者等量。 但一个处于接收前，另一个处于接收后。 与概率都是反比关系。 信息量 自信息量 联合自信息量 条件自信息量 互信息量 联合自信息量 def：两个事件同时发生时对外提供的信息量。 定义为：二维联合集XY上的联合概率的对数负值。 记作： X、Y相互独立时 条件自信息量 def：联合集XY中，事件 在 已经发生的情况下再发生时对外提供的自信息量。 定义为：条件概率的对数负值。 注意： 三种自信息量之间的关系： 互信息量 互信息量 def：信源发 互信息量 互信息量的各种表达形式及物理意义 从输出端观察 互信息量的其他表达形式及各自的物理意义 从输入端观察 互信息量 同理 互信息量的其他表达形式及各自的物理意义 从整体通信系统观察 互信息量的基本性质 （1）对称性 （2） . 互信息量可正可负 例：信源 信宿收到Y= =”不是晴天”，求 分别与 之间的互信息量。 解 ： 方法二：利用： 信源熵 信源熵： 信源熵的def：信源输出消息的平均不确定度。 cf：平均自信息量：接收端收到消息后，平均每条消息对外提供的信息量。 平均自信息量与信源熵，二者等量。 信源熵：信源熵H是从整个信源的统计特性来考虑的，它从平均意义上表征信源总体特性。不同的信源因统计特性不同，熵也不同。 因此无论信源的消息是否接收，只要信源有统计特性，就存在平均不确定度，即熵。 而平均自信息量只有在接收到消息后才能获得。 信源熵 信源熵的计算：自信息量的数学期望。 即信源输出的消息被接收后获得的平均自信息量。 也就是消除信源平均不确定度所需要的信息量。 记作：H(X) 例：已知某信源的数学模型为： ， 求信源熵，并讨论H(X)随p的变化。 解： 例：设某离散信源含26个英文字母，且每个字母等概出现，求该信源的信源熵。 解： 结论：若离散信源符号集中含有n个符号，且等概分布，则信源熵为 bit/符号 最大离散熵定理：设信源中有n个符号，则 H(X)=log2n，当且仅当等概时取等号。 证明： 要证H(X)=log2n 即证H(X)-log2n=