03 第三章 信源及信源熵v.ppt

信息工程基础 解迎刚 yinggangxie@163.com Tel 第3章 信源及信源熵 3.1 信源的分类及其数学模型 1、信源的分类 从信源发出的消息在时间上和幅度上的分布 ??分为离散信源和连续信源； 从信源消息是模拟的还是数字的 ??分为模拟信源和数字信源； 对数字信源还可分为二进制信源和多进制信源。 对于离散信源，根据符号的特点以及符号间的关联性，可分无记忆离散信源和有记忆离散信源 ??对于前者，又可分为发出单个符号的无记忆离散信源和发出符号序列的无记忆离散信源； ??对于后者，又可分为发出符号序列的有记忆离散信源和发出符号序列的马尔可夫（Markov）信源。 信源的分类 ??从描述信源消息的随机过程的平稳性角度 分为平稳信源和非平稳信源 ??按随机过程的类别 分为高斯信源、马尔可夫信源等 ??根据人们对信源消息的感知 分为数据信源、文本信源、语音信源、图像信源等，其中文本信源和语音信源都是针对人类语言、文字、声乐等感知的，又通称为自然语信源。 信源的分类 ??信源的分类方法可以有多种，但本质上主要基于两方面的考虑： ??一是信源消息取值的集合以及消息取值时刻的集合，由此可分为离散信源、连续信源或数字信源、模拟信源等； ??二是信源消息的统计特性，由此可分为无记忆（Memoryless）信源、有记忆（Memory）源、平稳信源、非平稳信源、高斯信源、马尔可夫信源等。 3.1　所研究信源的描述和分类 　离散信源是指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。 　连续信源是指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。　 3.1　信源的描述和分类 3.1　信源的描述和分类 离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。 离散有记忆信源所发出的各个符号的概率是有关联的。这种概率关联性可用两种方式： 3.1 信源的分类及其数学模型 3.1　信源的描述和分类 例如：　　 信源的研究 3.2 离散单符号信源 二元信源 二元信源是离散信源的一个特列，该信源X输出符号只有两个，设为0和1。输出符号发生的概率分别为p和q，p＋q=l。即信源的概率空间为 说明： 信源信息熵H（X）是概率p的函数，通常用H（p）表示。p取值于[0，1]区间。H（p）函数曲线如图所示。从图中看出，如果二元信源的输出符号是确定的，即p=1或q=1，则该信源不提供任何信息。反之，当二元信源符号0和1以等概率发生时，信源熵达到极大值，等于1比特信息量。 二元数字是二进制信源的输出。在具有等概率的二进制信源输出的二进制数字序列中，每一个二元数字提供1比特的信息量。如果符号不是等概率分布，则每一个二元数字所提供的平均信息量总是小于1比特。这也进一步说明了“二元数字”（计算机术语称“比特”）与信息量单位“比特”的关系。 序列的成组传送 ??把信源输出的序列看成是一组一组发出的。 ??例1：电报系统中，可以认为每二个二进制数字组成一组。这样信源输出的是由二个二进制数字组成的一组组符号。这时可以将它们等效看成一个新的信源，它由四个符号00，01，10，11组成，把该信源称为二进制无记忆信源的二次扩展。 ??例2：如果把每三个二进制数字组成一组，这样长度为3的二进制序列就有8种不同的序列，可等效成一个具有8个符号的信源，把它称为二进制无记忆信源的三次扩展信源。 ??二进制无记忆信源的N次扩展：把每N个二进制数字组成一组，则信源等效成一个具有2N个符号的新信源，把它称为二进制无记忆信源的N次扩展信源。 利用联合熵和条件熵的关系，可推出 熵率（极限熵） 离散多符号信源（序列） 3.3.1 离散平稳无记忆信源 离散无记忆信源：为了方便，假定随机变量序列的长度是有限的，如果信源输出的消息序列中符号之间是无相互依赖关系/统计独立，则称这类信源为离散平稳无记忆信源/离散平稳无记忆信源的扩展。 3.3.1 离散平稳无记忆信源 3.3.2 离散平稳有记忆信源 3.3.2 离散有记忆信源的序列熵 联合概率具有时间推移不变性： 结论1 是L的单调非增函数. 结论2 3.3.2 离散有记忆信源的序列熵 3.3.2 离散有记忆信源的序列熵 结论4 当L→∞， 3.3.2 离散有记忆信源的序列熵 推广结论3可得 3.3.2　有记忆信源的描述和分类 最简单的有记忆源是N=2的情况,此时 3.3.2 离散有记忆信源的序列熵 若信源输出一个L长序列，则