信息论基础第2章.pptxVIP

21-3月-26§2-1信源特性与分类（一）信源的统计特性1）什么是信源？信源是信息的来源，实际通信中常见的信源有：语音、文字、图像、数据…。在信息论中，信源是产生消息（符号）、消息（符号）序列以及连续消息的来源，数学上，信源是产生随机变量U，随机序列U和随机过程U(t,ω)的源。2）信源的主要特性信源的最基本的特性是具有统计不确定性，它可用概率统计特性来描述。

21-3月-26（二）信源的描述与分类1）单消息（符号）信源：它是最简单也是最基本的信源，是组成实际信源的基本单元。它可以用信源取值随机变量的范围U和对应概率分布P(u)共同组成的二元序对[U,P(u)]来表示。对离散信源例：对于二进制数据、数字信源：U={0,1}，则有

21-3月-26对于连续变量信源其中：2）实际信源实际信源在离散情况下是消息序列信源，在连续情况下是随机过程信源，它们分别代表数字与模拟信源。①离散序列信源i=1,2,…nl=1,2,…L其中，i=1,2,…n为每个消息（符号）取值的种类数l=1,2,…L为消息（符号）序列的长度应注意的是i和l是代表两个不同范畴的变量，表示不同的概念，切勿混淆。（二）信源的描述与分类（续）

21-3月-26信源输出是一组随机序列（矢量）：其样值为：对应概率为：由于每个随机变量U={1,2,…n}