马尔可夫信源.docVIP

第2章 信源与信息熵 香农信息论的基本点 用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息。 信源的分类 按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类. 单符号信源概率空间描述 自信息量 单位：bit（一个比特表示一个等概率的二进制符号信息量） 自信息量 与 不确定度 的关系 不确定度: 随机事件的不确定度在数量上等于它的自信息量，两者的单位相同，但含义却不相同． 一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小。 一个出现概率很小的随机事件，很难猜测在某个时刻它 能否发生，所以它包含的不确定度就很大