信息论-02 离散信源及其信息测度.pdf

离散信源及其信息测度 1 内容 • 信源的数学模型及分类 • 离散信源的信息熵 • 信息熵的基本性质 • 离散无记忆的扩展信源 • 离散平稳信源 • 马尔可夫信源 • 信源剩余度与自然语言信源的熵 2 信源的数学模型及分类 3 信源的数学模型及分类（1） • 信源是信息的来源，产生消息或消息序列。 • 消息包含和携带着信息。 • 信息是抽象的，消息是具体的，通过消息来研究 信源。 – 信源各种可能的输出 – 输出各种可能消息的不确定性 4 信源的数学模型及分类（2） • 信源发出消息是随机的，可以用概率空间来描述 信源。 – 消息可以用随机变量、随机矢量、随机过程来描述 – 根据消息的随机性质对信源进行分类 5 用随机变量描述的信源（1） • 离散信源 – 信源的输出是单个符号 （或代码）的消息 – 符号集的取值是有限的或可数的 a a a , , , X      1 2 q   P a P a P a  P x ( ), ( ),  ( ) ( ) 1 2 q     q ( ) 1 ∑P ai i 1 概率空间能表征离散信源的统计特性，也称为信源空间。 6 用随机变量描述的信源（2） • 连续信源 – 信源的输出是单个符号 （或代码）的消息 – 符号集的取值是不可数的 X (a ,b ) X R                 p (x ) p (x ) p (x )