论证中将上一节讲到的典型定序理论应用到信道的输入和.doc

令人惊奇的是Shannon对这一结果的论证和结果同样简单。论证中将上一节讲到的典型定序理论应用到信道的输入和输出中，并且加入独具匠心的改变。虽然Shannon的论证只涉及到问题表面，但所有观点都阐述得非常清楚。下面我们就介绍一下Shannon为无后效离散信道通路(DMC)这一特殊案例的做出的论证，并加上必要的细节。 离散信道通路输入遵循特定字母表中字母的顺序：X = (X1, X2, ...)，标记为 1，2，… ，同理，输出可能遵循另一特定字母表中字母的相应顺序：Y=（Y1, Y2，...），标记为 1，2，… 。输出并不依赖于输入，而仅仅有一种随机依赖的关系，从这种意义上讲信道是有噪声或非理想的。因此，在任何输入顺序既定的条件下，输出则以随机的顺序进行并以已知的、以输入为条件的方式分布。然而，信道通路输入顺序也是随机的。在设计一个可靠的信息系统时，选择信息源输出和信道通路输入的编码关系的随意度是最为重要的。所以信道通路输入和输出可以被描述成一个相接连的随机过程，就像我们曾经已知的信息源或信道通路输入加工的过程。 我们视一种特别简易的噪声信道为离散无后效信道（DMC）。这里，在输出顺序Y=（Y1, Y2，...）中每次输出Yk 只随机地取决于相应的输入Xk，在每一个第k次，输出j和既定的输入i等只有一个既定的但有条件的可能就是pi j 0,而PI (Yk = j︱Xk = i) = pij 独立于k. 因此，对于每一个样本输入顺序 x = (x1, x2, …, xn) 和每一个输出顺序y = (y1, y2, …, yn ) 来说，有条件的可能性来源于： （13） 通过用机会变量X和Y来代表信道通路输入和输出Shannon展开了对噪声信道的分析。这两个变量可以被看做是字母序列中任意两个字母。这些字母不仅仅代表信道，还代表着随机输入。他将所选的输入传输速率 I定义为： （14） Shannon将这种传输速率解释为一种输入的先验不确定性减去有条件的不确定性或者是条件信息量总平均值，而输出后的输入的不确定性 是可以观测到的。通过变化这个平均信息量的数学式，（14）也可以表示为： （15） 现在将上述数学式中的X和Y记作和，则从数学式（13）可得出： 从数学式（15）可得出： （16） 如果输入在数据上是独立的，则上述两个数学式可以划上等号。 对于任意离散信道的每个码元的信道容量，Shannon实际上将其定义为速率与输入分布和序列长度得比值的上确界，即的上确界。他并没有详细说明信道要符合什么条件才能支持随后得出的结果的有效性。然而，对于无后效离散信道通路(DMC)来说，数学式（16）说明对于所有的上确界值都是相等的，这一值可以通过i.i.d输入来获得，其中输入i被选中的可能性可以实现最大值。 （17） 在分布最大化满足所有都有的情况下，Shannon给出了这样一个计算的清楚的公式。 我们现在可以总结Shannon的论证：当时，任意一个小的误差概率可以再无后效离散信道通路(DMC)中实现。我们假设一信息源会产生i.i.d. 输入，且其优化的输入可能性为数学式（17）中的。这样的输入分布可以产生下列输入/输出配对i.i.d： 这样就我们就可以将其限定为符合标准的输入输出配对集合。接下来在既定的条件下随机选择代码。随后还需为每一个随机挑选的代码规定解码法则。最后我们估算随机选择的所有代码的整体平均误差可能性的上限。我们用来表示接近于0。显然，某一代码一定会与所有的平均值一致。 为了显示更多细节，令表示i.i.d.输入序列，其概率为，。而信道输出序列为i.i.d形式的概率为 输入/输出配对为i.i.d.形式的概率为。对于输入/输出序列，用 表示输入/输出配对的数量，而用值表示。与数学式（4）同理，可以得出： （18） 在对i.i.d.机会变量的标准的一般定义中，如果每一个和都符合，则符合标准。与数学式（5）同理，任意一个标准的都有： （19） 如果符合标准，则也符合标准。为说明这一点，用表示输入的次数，输入用表示，则有： 同理，符合标准，则也符合标准。对于一对符合标准的来说，数学式（6）可以帮我们得出下列关系： （20） （21） （22） 最后，对于每一个符合标准的，规定用表示输入序列集合，这样便符合标准。如果不符合标准，则则被定义为空集。而对于每一对符合标准的，有有这样的关系：和。因此中元素的数量必须符合： （23） 然后我们选择一列包含个输入序列的编码，每一次输入的长度是。并独立地、随机地选择每个序列的每个字母，例如将字母用于容量获得概率中。接下来而我们将计算随机挑选的编码整体的误差平均值。