信源模型及信息的度量(P-1补充)-2015.pdfVIP

信源模型及信息的度量 1.1 信源模型及分类 1.2 不确定性与信息量 1.3 平均信息量 1.4 消息序列的熵 1.5 连续信源的信息度量 1.6 信源的相关性和剩余度 §1.1 信源模型及分类 什么是信源？ 在信息论中，信源是产生消息（符号）、消息序 列以及连续消息的来源； 数学上，信源是产生随机变量X 、随机序列X和 随机过程X(t,ω) 的源。 信源的主要特性 信源的最基本的特性是具有统计不确定性，一 般用概率空间来描述信源。 一个样本空间和它的概率测度