信息论基础理论与应用离散信源及其信息测度.pptVIP

第2章 离散信源及其信息测度 2.1 离散信源的数学模型 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.4 离散无记忆的扩展信源 2.5 离散平稳信源 2.6 马科夫信源 离散信源的数学模型(1) 研究对象是：信源各种可能的输出以及输出各种消息的不确定性。不研究信源的内部结构，不研究信源为什么产生和如何产生各种不同的、可能的消息。 离散信源的数学模型(2) 上述信源输出的是单个符号且符号集取值是有限的，可用一维离散性随机变量来描述这些信源的输出。其数学模型就是离散性的概率空间： 离散信源的数学模型(3) 如果出现消息数不可数，符号集A的取值是连续的或取值是整个实数集。例如，语音信号、热噪声信号，遥控系统中有关的电压、电流、温度、压力等测量的数据。这些数据的取值都是连续的、随机的。其数学模型为： 离散信源的数学模型(4) 实际信源的输出往往是由一系列符号序列所组成。可以把信源看成时间上或空间上离散的一系列随机变量，即为随机矢量，这样信源的输出可用N维随机矢量X来表示： 自信息（1） 从科学的发展史来看，新概念或新的度量的引进大都涉及两个问题： 如何引进（引进合理，能描述对象的特征） 能解决什么问题 信息的核心问题是它的度量问题，至今最为成功的，也是最为普及的信息度量是由Shannon在他的《通信中的数学理论》中提出的、建立在概率统计模型上的信息度量，他把