信源和信息熵.ppt

第2章 信源与信息熵;2.1信源的描述与分类;2.1 信源的描述与分类;2.1 信源的描述与分类;2.1 信源的描述与分类;2.1 信源的描述与分类;2.1 信源的描述与分类;独立同分布信源 在离散无记忆信源中，信源输出的每个符号是统计独立的，且具有相同的概率空间，即有 p1(X1)=p(X1)=p(Xi), 则该信源是离散平稳无记忆信源，亦称为独立同分布(independently identical distribution，i.i.d.) 信源。 ;离散有记忆序列信源：当信源输出的随机矢量中各个分量之间不相互独立而可以是任意相关的,则称此类信源为有记忆信源。 布袋摸球实验，每次取出两个球，由两个球的颜色组成的消息就是符号序列。 若先取出一个球，记下颜色不放回布袋，再取第二个球。;用采样定理将波形信号转换成多维连续的信号: 时域采样：频带受限fm的时间连续函数f(t),不失真采样频率fs ? 2fm，若时间上受限0? t ? tB，采样点数为tB?(1/2fm)＝2fmtB。可见，频率受限fm、时间受限tB的任何时间连续函数，完全可以由2fmtB个采样值来描述。 ;频域采样：时间受限于tB的频域连续函数，在0～2?的数字频域上要采L点的条件是时域延拓周期LT ? tB，若频率受限fm，则采样点数L ? tB/T＝tBfs ? 2fmtB。 但是，从理论上说任何时间受限的函数，其频谱是无限的；反之，任何频带受限的函数，其时间上是无限的。 实际中，可认为函数在频带fm、时间tB以外的取值很小，不至于引起函数的严重失真。 ;所以，波形信号只要是时间上或频率上有限，都可通过采样变成时间上或频率上离散的连续符号序列。如果原来的随机过程是平稳的，那么采样后的随机序列也是平稳的。 一般情况下，采样得到的2fmtB个随机变量之间是线性相关的，也就是说这L＝2fmtB维连续型随机序列是有记忆的。因此随机波形信源也是一种有记忆信源。; 当信源的记忆长度为m+1时，该时刻发出的符号与前m个符号有关联性，而与更前面的符号无关。 齐次马尔可夫信源：与时间起点无关。 ;由于高阶马尔可夫信源需要引入矢量进行分析，现方法将矢量转化为状态变量。定义状态： 信源在某一时刻出现符号概率xj与信源此时所处状态si有关，用符号条件概率??示p(xj/si)，状态转移概率表示为p(sj/si); 特别关心n-m=1情况，pij(m,m+1) ; 系统在任一时刻可处于状态空间的任意一状态，状态转移时，转移概率是一个矩阵， 一步转移概率矩阵为;对于齐次马尔可夫链，一步转移概率完全决定了k步转移概率。 定义：若齐次马尔可夫链对一切i,j存在不依赖于i的极限，则称其具有遍历性，pj称为平稳分布;定理：设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为wj=p(sj);马尔可夫信源;马尔可夫信源;Eg. 二阶马氏链，X?{0,1},求平稳分布 ;解：令各状态的稳态分布概率为W1，W2，W3，W4，可得方程组 ;;在马尔可夫过程中，每一次状态转移都唯一对应一个事件， 通过观察输出序列就能确定状态转移模型。;在隐马尔可夫过程中，每一次状态转移并不对应一个唯一的输出，而是按照一定的概率分布输出多个可能的观察值。;HMM是马尔可夫链的一种推广。在HMM中，马尔可夫链的状态转移序列（反映状态变化过程或“路径”的序列）是不能观察到的，故称为“隐”。但状态转移后会产生可观察到的输出，这些输出是关于状态转移的随机函数。 利用观察到的输出，通过一定的算法预测“隐”含的马尔可夫链模型。;HMM实例;HMM实例——约束 ;What is an HMM?;Markov链 （?, A）;HMM 模型;HMM的基本要素;HMM需解决的问题;HMM解决的关键问题;总结;2.2离散信源熵与互信息;2.2离散信源熵与互信息;2.2离散信源熵与互信息;2.2离散信源熵与互信息;2.2离散信源熵与互信息;2.2离散信源熵与互信息;2.2离散信源熵与互信息;2.2离散信源熵与互信息;2.2离散信源熵与互信息;2.2离散信源熵与互信息;2.2离散信源熵与互信息;单符号离散信源熵 符号熵 条件熵 联合熵;2.2离散信源熵与互信息;2.2离散信源熵与互信息;2.2离散信源熵与互信息;2.2离散信源熵与互信息;2.2离散信源熵与互信息;2.2离散信源熵与互信息;2.2离散信源熵与互信息;2.2离散信源熵与互信息;2.2离散信源熵与互信息;2.2离散信源熵与互信息;2.2离散信源熵与互信息;2.2离散信源熵与互信息;2.2离散信源熵与互信息;定义 若p(x)和q(x)为定义在同一概率空间上的两个概率测度，定义p相对于q的相对熵或Kullback_Leibler距离为