信源熵率及冗余度课件.pptVIP

第三章：信源、熵率及冗余度

问题一?

信息论对信源研究的内容???

问题二?

信源特性???消息消息序列连续消息统计不确定性

信源的分类?????

信源空间离散型随机变量

离散信源－单符号离散信源的数学描述?对单符号离散信源

?多符号离散信源。?

随机矢量/随机变量序列??

??有限的或可数的离散平稳信源

????

?

?

??离散无记忆信源

N次扩展信源????离散无记忆信源X的N次扩展信数学模型X信源空间的N重空源。间

??二进制无记忆信源的N次扩展信源

离散信源－离散平稳有记忆信源?有记忆信源条件概率分?布

离散信源－马尔可夫信源??m阶马尔可夫信源

离散信源－时齐马尔可夫信源??时齐马尔可信源。

信源建模?1.各字母等概、字母间不相关（字符独立）?2.字母出现概率按照英文文本统计，字母间不相关（字符独立）?3.字母出现概率按照英文文本统计，字母间存在二维相关性（两两相邻字母相关）

信源建模?4.字母出现概率按照英文文本统计，字母间存在三维相关性?5.字母出现概率按照英文文本统计，字母间存在N维相关性?6.单词间存在相关性（依据语法）.

离散序列信源总结

连续信源和波形信??源。

连续信源－单变量连续信源（1）?连续型随机变量连续信源

概率密度条件概率密度联合概率密度

波形信源llll连续的和随机过程随机随机波形信源

波形信源lll立程l随机波形信连续平稳信源源离散信源

采样续量化

实际信源消息序列随机过程信?信源源

实际信源－离散序列信源(1)

实际信源－离散序列信源(2)

实际信源－离散序列信源(3)

实际信源－连续波形信源（1）?on

实际信源－连续波形信源（2）?主要统计特性

实际信源－连续波形信源（3）?

????

??离散无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍

??

???

n??

?pp

多符号离散平稳有记忆信源X的熵H(X)是X中起始时刻随机变量X的熵与各阶条件熵之和。由于信源是平稳的，1这个和值与起始时刻无关。

离散平稳有记忆信源的条件熵的非递增性?H(X/XX…X)≤H(X/XX…X)N12N-1N12N-2

离散平稳有记忆信源的平均符号熵??平均符号熵

离散平稳有记忆信源的熵率（极限熵）?＝

比特/二个符号比特/符号

比特/符号

考察：定义平均符号熵比特/符号结论对于有限记忆长度的平稳信源可用有限记忆长度的条件熵来对平稳信源进行信息测度。

熵率?离散平稳信源平均每个字母熵率极限熵极限信息量?平稳信源

?熵率的含义：?统计关联关系也并不仅限于长度N之内，而是伸向无穷远?熵率的计算：

问题四?

信源输出信号的信息携带效率的表示?

冗余度－1?oo必需要掌握信源全部概率统计特性

冗余度－2定义??

冗余度－3?理论基础

冗余度－4

冗余度－5oooo

冗余度－6

冗余度－7

问题五?

编码－1?编码器映射

编码－2?

信源编码－1???冗余度压缩熵压缩

信源编码－2

信源编码－3

作业

作业