信息论与编码技术离散信源及其信息测度.PPTX

信息论与编码技术第2章 离散信源及其信息测度;2.1 信源的数学模型及分类 2.2 离散信源的信息熵 2.3 信息熵的基本性质和定理 2.4 离散无记忆的扩展信源 2.5 离散平稳信源 2.6 马尔可夫信源 2.7 信源剩余度与自然语言的熵;信源 消息或消息序列 包含信息 关注信源的各种可能的输出以及输出各消息的不确定性 信源描述：概率空间（样本空间+概率测度） 随机变量描述消息 随机矢量描述消息 随机过程描述消息;1）一维离散信源 适用场景：信源可能输出的消息数是有限或可数的，???每次只输出一个消息。 例子：扔一颗质地均匀的骰子，研究下落后朝上一面的点数。 特点： 1.每次实验只出现一个点数（消息）； 2.每个点数的出现是随机的； 3.点数必定为1,2,3,4,5,6中的某一个； 因此：符号集A： {a1, a2 , a3 , a4 , a5 , a6} 表示基本消息集合；离散型随机变量X描述信源输出的消息，其样本空间为A; X的概率分布即为各消息出现的先验概率: P(X= a1)=P(X= a2)=…P(X= a6)=1/6. ;2.1.1 随机变量描述信源消息;该类信源特点： 输出都是单个符号的消息，符号集取值有限或可数 一维离散型随机变量X描述，即离散信源。 数学模型：