第2章 信源及信源熵-1.pdfVIP

第二章 信源及信源熵 主要内容  信源的数学模型及分类  离散信源的信息熵  互信息  重点掌握：信源熵和离散/连续互信息 信源的描述和分类 信源  信源 产生消息(符号)、消息序列和连续消息的来源 产生随机变量、随机序列和随机过程的源。  信源的基本特性：具有随机不确定性。 香农信息论的基本点  用随机变量或随机矢量来表示信源  用概率论和随机过程的理论来研究 信息 信源的分类  按照信源发出的消息在时间上和幅度上的分布 情况可将信源分成离散信源和连续信源两大类 离散信源: 文字、数据、电报—随机序列 信源 { 连续信源: 话音、图像—随机过程 信源的分类  离散信源 指发出在时间和幅度上都是离散分布的离散消 息的信源。 发出单个符号的无记忆信源 离散 离散无记忆信源{发出符号序列的无记忆信源 信源{离散有记忆信源 发出符号序列的有记忆信源 { 发出符号序列的马尔可夫信源 信源的描述  一个离散信源发出的各个符号消息的集合为： X {x ,x , ,x } a,b,c,…z 1 2 n • 它们的概率分别为 P {p (x ), p (x ), ,p (x )} 1 2 n • p (x ): x 的先验概率 i i • 单符号离散信源的数学模型—概率空间 p (x )  0 i X  x x  x    1 2 n     n P p (x ) p (x )  p (x ) p (x ) 1    1 2 n   i i 1 离散信源的统计特性  离散消息是从有限个符号组成的符号集中选择 排列组成的随机序列（组成离散消息的信息源 的符号个数是有限的）  在形成消息时，从符号集中选择各个符号的概 率不同 。  组成消息的基本符号之间有一定的统计相关特 性 。 无记忆信源  离散无记忆信源 所发出的各个符号是相互独立的，发出的符号 序列中的各个符号之间没有统计关联性，各个 符号的出现概率是它自身的先验概率。  例如扔骰子，每次试验结果必然是1～6点中 的某一个面朝上。  用一个离散型随机变量X来描述这个信源输出 的消息。 X x x x x x x    1 2 3 4 5 6      P 1/ 6 1