第三章离散信源.docVIP

离散信源 通过上一章的学习，我们知道如何去计算通过网络传输的一封信中 单独的一个字包含的平均自信息量；而在这一章，我们要考虑的是如何计算 一封字数固定的信包含的平均自信息量。 如果把字（它是一个随机变量）看作一个离散信源，则我们可以用如下形式来 描述它。 我们知道一封信（它也是一个随机变量）也可以看作是一个信源，由于它一般由 个字组成，于是我们把信看作的次扩展信源。而 我们知道，是比较容易计算的，而要困难一些，而 当很大时（如等于10000），要想直接计算是相当 困难的，这是因为 = 而都是很难计算的，而计算 总共需要个。 一种简单的方法是：假设之间均统计独立，在这种情况下，我们把 定义为离散无记忆信源。 这样就得到： 要指出的是，上面这种计算信的平均自信息量的方法虽然简单，但是结果一般情况下是很 不精确的，因为一般情况下，之间存在很大的相关性， 也就是说，上面的假设不是很合理。 怎么办呢？我们应该采用什么样的方法与思路来解决这个问题呢？ 我们知道，一般来说，数字都非常大。我们的一个发现是：假若 当的时候，存在并能够计算 出来的话，那么： 存在且有：（1） 这样我们就可以得到的一个很好的近似： 。 （我们来对（1）作一个说明（或者证明），设 ， 则我们得到： 于是，为了证明（1），我们只需要证明： 。 证明过程中遇到的关键问题是如何由任意给定的找到恰当的 使得当时有：。 我们的技巧是：先把可以表示为如下形式： 然后再找恰当的使得当时有：。 找的技巧是先由任意给定的找到适当的，使得当时有： ，从而可以确保： ， 然后再由确定的找到使得当时有： ，具体方法是让： 。 显然，采用上面的方法找到的满足： 当时有：。 具体的证明过程：由已知得到：存在 ，使得当时有：，取 ，当时有： ， 从而由 得到：当时有：。 显然，如果不作任何假设，我们是不可能采用上面这种方式计算的。 于是，这里有两个问题： （1）：在对作什么样的合理假设下，存在？ （2）在对作什么样的合理假设下， 能比较简单地计算出来？ 在实践中，我们观察到： （1）：在大多数情形下，我们可以假设一个扩展信源中的任意一个简单信源与它前面的 若干个简单信源之间的相关关系与该简单信源是此扩展信源的第几个简单信源无关。 也就是说，对任意的与，都有： ， 我们把满足条件（1）的信源叫做时齐信源。 更特殊的，若离散信源满足： ， 则我们把该信源称为离散平稳信源。 我们要说明的是：离散平稳信源一定是离散时齐信源。 原因很简单： 当信源是平稳信源的时候，有： 与 从而有： 。 （一般来说，我们不能假设信源为平稳信源。例如：一封信中第一个字为 “我”的概率与第二个字为“我”的概率是不一样的。） 我们发现，在信源为时齐信源的条件下， 存在（当然我们需要附加条件：）。 其主要发现过程如下： 设，我们主要是通过证明是单调数列来 证明存在。 为什么是单调递减数列呢？ 因为一方面， 另一方面由是时齐信源得到： 于是得到：，从而 是单调递减数列。 于是现在的问题是：在知道存在的条件 下如何给出一种简单的计算它的方法。 显然，不是对于任意的时齐信源，我们都能给出简单的计算 的方法。也就是说，我们需要 对信源再作一些假设。 由于我们发现：在很多情形下，一个扩展信源中的任意一个简单信源 主要是与它前面的若干个简单信源存在相关关系， 而与这若干个信源前面的信源之间的相关关系很微弱 （如在一篇文章中的任意一个字主要是与它前面的若干（不妨设为）个字存在比较强 的相关关系，而与这若干个字前面的字之间的相关关系很微弱）。 从而得到： ， 利用（2），我们对扩展信源再做一个假设。假设满足： 我们把这种信源叫阶马尔可夫信源 （在阶马尔可夫信源中，一个简单信源仅仅与它前面的个简单信源存在相关关系）。 特殊情形：若扩展信源满足： ， 则这种信源叫马尔可夫信源（在马尔可夫信源中，一个简单信源仅与它前一个简单信源 存在相关关系）。 显然，我们讨论的信源一定是时齐信源，即该信源满足： ， 这样我们得到时齐阶马尔可夫信源满足： 而时齐马尔可夫信源满足： 。 现在我们就有这样一个问题，对于阶马尔可夫信源来说，我们能否给出计算 的简单有效的方法。我们的答案是肯定的。 我们的基本思路是： 先在假设是时齐马尔可夫信源的情况下 给出计算的方法，然后考虑如何把 一般的时齐阶马尔可夫信源转化为时齐马尔可夫信源。 我们先来分析以下时齐马尔可夫信源的特点。由上面的条件，我们得到： 。 一般我们用矩阵 来描述随机变量概率转移关系： 如设，则我们可以转移矩阵： 如转移矩阵表示： 显然，是已知的；于是为了计算。 我们只需思考：对任意的，是否存在？ 若存在，如何计算？ 设，则我们上面的问