离散信源培训资料.pptVIP

本章需要掌握的内容： 信源的分类 离散平稳无记忆信源及扩展信源的特点和信息√ 离散平稳有记忆信源的特点和信息 马尔可夫信源的特点和信息√ 信源的相关性和剩余度√; 信息论对信源研究的主要内容由以下几个方面组成： （1）信源的建模 （2）信源输出信号中携带信息量大小的计算 （3）信源输出的有效表示;一、信源;1.按信源发出的消息在时间上的分布划分： ;例题 （1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用 ;一.离散无记忆信源 1.概念 信源先后发出的一个个消息符号彼此独立。 2.数学模型 信源输出随机变量X，可能的取值;1.求N次扩展信源 ;三次扩展信源 ;依次推出N次扩展信源 ;一次信源输出符号集为;2、N次扩展信源的熵;例3-2： （1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用;解：（1）每个象素亮度信源的概率空间为： ;（2）证明： ;例3-3： 每帧电视图像可以认为是由 ;解：（1）分析可知汉字字集是等概率分布的，则汉字字集信源为;例3-4： 对一最高频率分量为4kHz的模拟信号以奈奎斯特采样定理采样，已知抽样结果是一个独立的平稳随机序列。现将每个抽样值量化为5个离散电平之一，已知这5个电平构成的符号集{X}的概率特性为 ; ——信源发出的符号序列的概率分布与时间起点没有关系,但发出的符号之间有依赖关系。;二.离散平稳信源的熵 ;联合熵可表示离散平稳信源的熵;平均每个序列携带的信息量 ;平均每个符号携带的熵; 熵率的计算很复杂，在实际应用中常采用有限N下的条件熵作为极限熵的近似值，即;信源X提供的熵 ;第四节 马尔可夫信源及其熵;二.马尔可夫信源的状态转移图 ;解：信源符号个数q=2，k=1,故状态数;有一个二进制二阶马尔可夫信源，其信源符号集为A={0,1},条件概率为： 求状态转移矩阵。;由状态图可知转移矩阵： ; 1.遍历性的m阶马尔可夫信源的定义;定理：马尔可夫信源具有稳态分布的充要条件是存在一个正整数N，使马尔可夫信源的状态转移矩阵;解： ; 由平稳信源的熵率（实际熵、极限熵）可得遍历性的马尔可夫信源的熵为：;计算： ;;;求遍历性的m阶的马尔可夫信源熵的公式: ;3.举例说明马尔可夫信源熵的计算方法 ;解:由例7可知状态转移矩阵为：;由 ;第五节? 信源的相关性和剩余度;三.信源的剩余度γ ;例3-10： 黑白气象传真图的消息只有黑白两种颜色，即信源X={黑，白}，且p(黑)=0.3，p(白)=0.7。 （1）假设图上黑白消息出现前后没有关系，求熵H(X)。 （2）假设消息前后有关系，其依赖关系为 p(白|白)=0.9，p(黑|白)=0.1，p(白|黑)=0.2， p(黑|黑)=0.8，求此一阶马尔可夫信源的熵H2。 （3）分别求上述两种信源的剩余度，并比较H(X)和H2的大小，并说明其物理意义。;信源的信息熵 ;则其状态转移矩阵为 ：;则此信源的熵为：