(信息论)第3章离散信源.pptVIP

* 第 3 章 离散信源 3.1 信源的数学模型及其分类 3.1.1 信源的数学模型 信源的具体输出称作消息，它是随机的，可以用随机变量或随机过程来描述信源发出的消息，也就是可以用概率空间来描述信源。信源的数学模型可用如下概率场来描述 其中 即信源的概率空间是完备。 (3.1) ① 离散信源的数学模型 通常 q 为有限正数，也可为可数无穷大。 (3.2) 其数学模型为离散型的概率空间： 其中 且 ② 连续信源的数学模型 其数学模型为连续型的概率空间： 其中 为连续随机变量 X 的概率密度函数， 为 X的存在域，且 (3.3) 信源输出可用 N 维随机矢量 来描述，其中 N 可为有限正整数或可数无穷值。通常，总限定 N是有限的，故只限于讨论“有限离散信源”。若在这随机矢量中的每个随机变量 都是离散的，则可用N重离散概率空间的数学模型来描述这类信源。 其中 可见，随机序列 的取值 的个数 ，取决于序列长度N和符号集 的符号个数 q 。 (3.4) 例： 3.1.2 信源的分类 无记忆信源 离散无记忆信源 连续无记忆信源 若在 N 维随机矢量 X 中，每个随机变量 是连续随机变量，且相互独立，则 N 维随机矢量 X 的联合概率密度函数为 信源发出的消息符号彼此是统计独立的，并且具有相同的概率分布，其 N 维随机矢量的联合概率分布为 ① ② 有记忆信源 无限记忆信源 有限记忆信源 有限记忆信源可用有限状态马尔可夫链来描述。当信源记忆长度为 m+1 时，也就是信源每次发出的符号仅与前 m 个符号有关，与更前面的符号无关。这样的信源称为 m 阶马尔可夫信源。此时可用条件概率分布描述信源的统计特性。 其中 m 为阶数，称作记忆阶数。当 m=1 时，可用简单马尔可夫链描述。此时的条件概率转化为状态转移概率 3.2 离散无记忆信源 离散无记忆信源是最简单，也是最基本的一类信源，它可用完备的离散型概率空间来描述。 定义 3.2.1 设信源X输出符号集 为信源发出的消息符号个数，每个符号发出的概率为 。这些消息符号彼此互不相关，且有 则称 X 为离散无记忆信源。 由定义3.2.1可知，一个离散无记忆信源可用下面概率场来描述： (3.5) 信源输出信息量的度量 定义 3.2.2 设信源 X 中，事件 发生的概率为 ，则所含有的自信息量定义为 定义 3.2.2 给出的自信息量的函数形式有如下性质： 信源中信息的量度与输出符号发生的概率有关。 该函数 是先验概率 的单调减函数。即随着某一符号发生的概率的增加，它们所包含的不确定性应减少。 当先验概率 。 信息量的定义应满足可加性，即满足泛函方程。 (3.6) ① ② ③ ④ 自信息量 是指某一信源发出某一消息符号 所含有的信息量，所发出的信息符号不同，它们含有的信息量也就各不相同，故自信息量 是一个随机变量，不能用它来作为整个信源输出信息的信息测度。为此，需要引入平均自信息量，即信息熵来作为信源输出信息的信息测度。 定义 3.2.3 信源输出的各消息的自信息量的数学期望为信源的平均自信息量，或称为信源的信息熵。 信源熵 是从平均意义上表征信源总体统计特征的一个量，是信源的统计平均不确定性的描述。 (3.7) 例：设信源符号集 每个符号发生的概率分别为 ，则信源熵为 3.3 离散无记忆信源的扩展信源 3.3.1 最简单的离散信源 最