信息论与通信原理导论 课件 通信原理-第三章 信源及信息测度.pdf

信源及信息测度

通信原理

信源的数学模型及分类

单符号信源

符号序列信源

连续波形信源

信源的数学模型及分类（单符号信源）

根据信源产生的消息的不同的随机性质，可以

将信源分为：

离散信源（取值离散）：信源输出的是单个符号

的消息，符号的取值是有限的（离散）。我们可

用一维离散随机变量x来描述信源的输出。

q

xaaa

12q∑P(a)1

i1i

()()()

P(x)Pa1Pa2Paq



文本，计算机代码，电报符号，数字码

信源的数学模型及分类（单符号信源）

连续信源：输出消息的取值是连续的，随机的。

可用一维连续性随机变量x来描述这些消息。

xR



∫P(x)dx1

P(x)P(x)R



语音信号，视频信号，热噪声等

信源的数学模型及分类（符号序列信源）

当信源输出的消息是按一定概率选取的符号序

列时，可以把这种信源输出的消息看做时间或

空间上离散的一系列随机变量，即随机矢量。

这样，信源的输出可以表示为

X[x,x,,x]

12N

信源输出的符号序列可以建模为离散时间随机过程

信源的数学模型及分类

平稳信源（按照符号的性质分类）

在随机矢量中，若每个随机变量都是离散性随机

X

变量，且的各维概率分布与时间起点无关。则

该信源为离散平稳信源。

在随机矢量中，若每个随机变量都是连续性随机

X

变量，且的各维概率密度函数与时间起点无关。

则该信源为连续平稳信源。

信源的数学模型及分类

平稳信源（按照符号间的相关性分类）

无记忆信源：信源在不同时刻发出的符号之间是

相互独立的。向量中的各变量独立。

X[x,x,,xN]

12

即N维随机矢量的联合概率分布满足

P(X)P(XXX)P(X)P(X)P(X)

12N1122NN

PN(X)

i

信源的数学模型及分类

有记忆信源：信源在不同时刻发出的符号之间相

互依赖。

有记忆信源可建模为马尔可夫随机过程。

当记忆长度为m+1时，被称为m阶马尔可夫信源。

当信源输出为离散值时，m阶马尔可夫信源可用m阶马

尔可夫链来表示。

信源的数学模型及分类（波形信源）

