信息论基础——信源随机过程的基本概念.pptVIP

第1章 随机变量的信息度量 自信息、熵、平均互信息； 数据处理定理 信息处理只能破坏信息！！ 第2章 随机过程的信息度量和渐近等分性 2.1 信源和随机过程的基本概念 2.2随机过程的信息度量 2.3 渐近等分性质 2.4 渐近等分性质在数据压缩中的应用 — 信源编码定理 2.5 Shannon-McMillan-Breiman定理 习题二 2.1 信源和随机过程的基本概念 随机过程 信源的分类 无记忆信源 k-阶马氏信源 离散平稳信源 大数定律 2.1 信源和随机过程的基本概念 收信者在未收到信息以前，对信源发出什么样的消息是 不确定的，是随机的，所以可以用随机变量来描述信源 输出的消息. 2.1 信源和随机过程的基本概念 对随机变量的信息度量，可用熵、互信息等工具实现； 2.1 信源和随机过程的基本概念 随机过程{x(t)}可以看成由一族时间函数xi(t)所组成， xi(t)是随机过程的一个实现，它不仅在时间上，而且在幅度取值上都是连续变化的； 2.1 信源和随机过程的基本概念 当前，在随机过程论中很大程度上是研究各种马尔科夫 过程类；