离散信源教学幻灯片讲义.pptVIP

《和初始状态无关，不是时间起点（时齐性）》 3.4离散平稳信源 3.4.1平稳信源 二维平稳信源 N维平稳信源 离散平稳信源 结论：对于平稳信源来说，其条件概率均与时间起点无关，只与关联长度N有关。它表示平稳信源发出的平稳随机序列前后的依赖关系与时间起点无关。 离散平稳有记忆信源 3.4.2平稳信源的熵－联合熵 离散二维平稳信源的信息特点：只有相邻两个符号有关联，且其关联与时间无关。 基本思路：把这个信源输出的随机序列分成每二个符号一组，每组构成新信源的一个符号，并设组与组之间统计无关(实际上，组尾的符号与下一组组头的符号是有关的)。建立一个等效信源X1X2，它们的联合概率空间为： 二维平稳信源的熵－条件熵 平稳信源的熵－熵的可加性 二维平稳信源的熵－例题 3.4.3极限熵 N维平稳有记忆信源的熵 条件熵随N增加而递减 矢量熵H（X） 平均符号熵与极限熵 极限熵的意义 极限熵存在定理 定理证明 极限熵的计算 小结 3.5马尔可夫信源 第3章 离散信源 3.1信源的数学模型及其分类 信源的概念 信源输出的描述 3.1.1信源的数学模型 离散信源和连续信源 单符号信源：输出是单个符号（代码）的消息??? 离散信源??? 连续信源 ? 平稳随机序列信源：信源输出的消息由一系列符号序列所组成，可用N维随机矢量 X＝(X1,X2,…,XN)描述，且随机矢量X 的各维概率分布