2信源与信息熵文1new.pptVIP

第2章 信源与信息熵 信源是信息的来源。例如声音、文字、图像和数据等。 在信息论中，信源是产生消息(符号)、消息(符号)序列和连续消息的来源；信源输出是以符号形式出现的具体消息。 客观信源的基本特性是具有随机、不确定性。当出现的符号是随机的，才能载荷信息。如果符号是确定的且已知，那么该消息就没有包含信息。从数学上看，由于信息的不确定性，信源可以认为是产生随机变量、随机向量/矢量、随机序列和随机过程的源。 同时，符号的出现具有一定的规律性，所以可以使用随机变量或者随机向量/矢量等数学理论来研究信息，这就是香农信息论的基本点。 在经典的香农信息论中，讨论信源的概率统计特性和基于此的客观概率信息。 2.1 信源的描述与分类 实际应用中分析信源所采用的方法往往要由信源的特性而定。 不同类型的信源采用不同的数学模型进行表示。 概率论的常用公式 随机变量的数学期望E: 离散型随机变量E(X)=∑Xi*P(Xi) 连续型随机变量 全概率公式：P(Y)=∑P(XiY)=∑ P(Xi)*P(Y|Xi) 贝叶斯公式：P(Xi|Y)=P(Xi)*P(Y|Xi)/ ∑ P(Xi)*P(Y|Xi) 信源的分类 信源的分类1 按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类。 离散信源是指发出时间