2信源与信息熵1 信息论与编码 教学课件.ppt

第2章 信源与信息熵 信源是信息的来源。例如声音、文字、图像和数据等。 在信息论中，信源是产生消息(符号)、消息(符号)序列和连续消息的来源；信源输出是以符号形式出现的具体消息。 客观信源的基本特性是具有随机、不确定性。当出现的符号是随机的，才能载荷信息。如果符号是确定的且已知，那么该消息就没有包含信息。从数学上看，由于信息的不确定性，信源可以认为是产生随机变量、随机向量/矢量、随机序列和随机过程的源。 同时，符号的出现具有一定的规律性，所以可以使用随机变量或者随机向量/矢量等数学理论来研究信息，这就是香农信息论的基本点。 在经典的香农信息论中，讨论信源的概率统计特性和基于此的客观概率信息。 2.1 信源的描述与分类 实际应用中分析信源所采用的方法往往要由信源的特性而定。 不同类型的信源采用不同的数学模型进行表示。 概率论的常用公式 随机变量的数学期望E: 离散型随机变量E(X)=∑Xi*P(Xi) 连续型随机变量 全概率公式：P(Y)=∑P(XiY)=∑ P(Xi)*P(Y|Xi) 贝叶斯公式：P(Xi|Y)=P(Xi)*P(Y|Xi)/ ∑ P(Xi)*P(Y|Xi) 信源的分类 信源的分类1 按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类。 离散信源是指发出时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。 连续信源是指发出在时间或幅度上是连续分布的连续/模拟消息的信源，如语音、图像、图形等都是连续消息。 信源的分类2 根据信源发出的符号数目可以分为发出单个符号和发出多个符号的信源。 发出单个符号的信源是指信源每次只发出一个符号代表一个消息。(例如：一次红绿灯的消息、一次投掷硬币的结果。)信源用随机变量的概率分布空间(离散)或者概率分布密度空间(连续)来表示。 发出符号序列的信源是指信源每次发出一组含二个以上的符号序列代表一个消息。 (例如：两次红绿灯的消息、两次投掷硬币的结果、 一次红绿灯消息加上一次投掷硬币的结果。)信源用随机向量/矢量、随机序列或者随机过程来表示。 信源的分类3 对于发出多个符号的信源(多符号、符号序列信源) ：按照信源发出的多个符号彼此之间是否存在关联，还可分为无记忆信源和有记忆信源。 无记忆信源是指所发出的各个符号之间是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。 (例如，有放回、两次摸球。) 有记忆信源是指发出的各个符号之间不是相互独立的，各个符号出现的概率是有关联的。(例如，无放回、两次摸球。) 2.1.1 无记忆信源 单符号、无记忆、离散信源 发出单个符号的、无记忆、离散信源：输出的都是单个符号的消息，出现的消息数是有限的且只可能是符号集中的一种，即符合完备性。若各符号出现的概率已知，则该信源就确定了；反之，信源已知，则各符号出现的概率就确定了。 所以信源出现的符号及其概率分布就决定了信源。数学模型：离散随机变量的分布列/二元有序对。 例如：对二进制数字与数据信源、投掷硬币等： 单符号、无记忆、连续信源 发出单个符号的、无记忆、连续信源：有些输出的消息也是单个符号，但是符号取值或者消息的数量是无限的。(例如，测量一节电池的电压。) 数学模型：连续随机变量的取值范围和概率分布密度函数。 在有些情况下，可以将符号的连续取值进行量化或离散化，将符号取值转换成有限的或可数的离散值，从而就可以把连续信源转换成离散信源来处理。 多符号的序列信源 实际上，很多离散信源每次发出的消息总是由2个以上的符号序列构成。 描述一个符号需要一个离散型或连续型随机变量，所以描述此类多符号信源发出的符号序列构成的消息应该使用时间或空间上离散的一系列随机变量，即随机向量/矢量。这样，信源的输出可用N维随机向量/矢量 X=(X1,X2,…,Xl,…,XN) 来描述，其中N可为有限正整数或可数的无限值。 最简单的多符号信源是二阶信源。 注意理解：各个随机变量的概率空间可能相同，也可能不同。 例如：两次红绿灯的消息、两次投掷硬币的结果、有放回的两次摸球的结果；一次红绿灯消息加上一次投掷硬币的结果、无放回的两次摸球的结果。 最常见的情况是各个符号对应的随机变量来自相同的概率分布空间。比如：数字通信系统处理的源源不断的多个消息或符号都是0、或者1。 N次(N重)扩展信源 在随机向量/矢量中，若每个离散随机变量 Xi(i=1,2,…,l,…,N) 都是来自于同一个概率空间，则可用N次(N重)离散概率空间来描述这类信源。即若N维随机向量X=(X1,X2,…,Xl,…,XN)中 Xi∈X=(X1,X2,…,Xq)