2-第二讲 信源的信息熵.pptVIP

设信源字母集为 若信源是有限记忆的（m长），则可将m个输出字母当作状态。设有J 个可能状态 2. 马尔可夫信源：（有限记忆的） 信源在某个状态下，每单位时间产生一个特定消息符号，并且当此消息产生之后就转入一个新的状态。 信源输出的符号随机序列为： 信源的随机状态序列为： 表示 l 时刻信源处于第 j 个状态下产生符号为 的概率。 表示第 l－1 时刻信源处于第 j个状态下，在下一个时刻（第 l 时刻）转移到第 i 个状态的概率。 如果转移概率和已知状态下的符号概率与时刻无关，则为 时齐的或齐次的马氏链。 若信源输出的消息序列与信源的状态满足以下条件时就称为马尔可夫信源： （1）某一时刻信源的输出只与当时信源的状态有关，而 与以前状态无关；即 只与 有关。 （2）信源状态只由当前输出字母和前一时刻信源状态唯 一决定，即 在 状态下，输出 则变为状态 属于状态 m 阶有记忆离散信源：状态由前m个符号表示 并满足： 称为 m 阶马尔可夫信源。 （m＝1为一阶马氏信源。） M阶马氏信源利用马氏链来描述。 可导出 书中例题： * * 第二讲 2-1 信源的描述 2-2 离散无记忆扩展信源 2-3 离散平稳信源 2-4 马尔可夫信源 信源的信息熵 信源的特性及其分类 信源是信息的来源，它一般是以符号的形式发出消息。 消息的符号常常带有随机性，用随机变量或随机矢量 来表示。 信源可以有多种类型，按不同的准则可有不同的分法。 连续信源和离散信源 随机变量取值于某一连续区域的，称为连续信源； 随机变量取值于某一离散集合的，称为离散信源。 2－1 信源的描述 连续信源的随机变量取值于连续区域 ， 随机变量 的概率测度为 其中 p(x) 是对应的概率密度。 离散信源：随机变量X的取值集合及其概率测度 实际的信源发出的不止是一个符号，而是系列符号。此时信源发出的是随机过程，它是时间的函数，如语言；或是空间的函数，如平面图象。 此时需要联合概率密度来描述。 例如离散随机序列 －－同分布的！ 若 则 如果上述概率分布与起始下标无关，即对任意整数t 有 就称为平稳信源。 连续信源：时间离散的连续信源； 时间上也是连续的随机波形源。 前者输出为连续随机变量序列；后者用随机过程表述。 随机过程可以展开为连续的随机向量表示，可以化为 时间上离散的信源。 （抽样定理） 反之，如果各分量不是相互独立的，则联合概率中就必然引入条件概率，说明它们是相互关联的，相应的信源就称为有记忆信源。 有记忆信源描述起来要麻烦得多，通常有两种表述方式，一是条件概率，二是马尔可夫链。 无记忆信源和有记忆信源 当随机矢量的各个分量相互独立，相应的信源就称为无记忆信源。 离散信源 连续信源 信 源 信 源 无记忆信源 有记忆信源（条件概率；马尔可夫链） 时间离散，取值连续 时间连续，取值连续（转化） 离散无记忆信源：DMS －discrete memoryless source 单符号和多符号：随机变量；随机序列 平稳信源 非平稳信源 信 源 2－2 离散无记忆扩展信源 输出为N长的符号序列，可以看作单个符号的N次扩展。 （无记忆的－－独立的等同分布的 i. i. d.序列） N 个 q 项和的乘积！ 求和号从内开始，变化每一位， 和数分别为 可如此求和： 关于无记忆扩展信源熵的定理： 2－3 离散平稳信源 1、平稳信源 一维平稳: 二维平稳： 与起点无关的含义! 概率分布不随时间变化。 （含义是 i，j 取同一符号的情况） 完全平稳－－平稳信源：与时间起点无关 根据联合概率和条件概率： 统计特性不随时间变化。 平稳信源的条件概率： 联合熵： 条件熵： 定理：条件熵不大于无条件熵。 例题： 二维平稳信源 平均符号熵： 信源输出的 N 长字母序列，平均每个字母的熵为： 极限熵（熵率）： 2、离散平稳信源的基本结论： （1）条件熵随 N 的增加是非递增的； 由归纳法证明。 （2）N 给定时，平均符号熵不小于条件熵； 主要是利用两条：条件熵不大于绝对熵；平稳性。 （3）平均符号熵随 N 的增加而是非递增的； （4）极限熵存在，且满足 对于无记忆的信源 ： 对于平稳离散信源 ： －－近似表示！ 又： 例题：书中二阶的例子 2－4 马尔可夫信源 信