四章信道及其量化081109.docVIP

第四章 信道及其量化 4.1信道的数学模型 1、信道 信道是指信息传输的通道，包括空间传输和时间传输。在实际通信中所利用的各种物理通道是空间传输信道的最典型的例子，如电缆、光纤、电波的传输空间、载波线路等等；时间传输是指将信息保存，以便以后读取，如磁带、光盘等在时间上将信息进行传输的信道。有时把为了某种目的而使信息不得不经过的通道也看作信道，例如一个分类器的输入到输出就可以看作是一个信道。（　分类器是一种计算机程序。 　　他的设计目标是在通过学习后，可以自动的对给定的数据进行分类。 　　应用在搜索引擎以及各种检索程序中。同时也大量应于于数据分析与预测领域。 　　分类器是一种机器学习程序，因此归为人工智能的范畴中。人工智能的多个领域，包括数据挖掘，专家系统，模式识别都用到此类程序。 　　对于分类器，其实质为数学模型。针对模型的不同，目前有多种分支，包括：Bayes网络分类器，决策树算法，聚类算法，SVM（支持向量机）算法等。 　　参考数据挖掘的各类文章，其中会对各种分类器算法的设计，性能，做出更为详细与准确的评价。——编码所用的码元集合， ——信道输出的符号集合（在最常见的情形，）。 来自信源编码器的符号 进入信道，经过信道传输，若没有干扰和意外，信道的输出端应唯一地收到某符号。然而，由于信道的多样性和复杂性，接收端并不能保证收到，而是以概率收到。 信道所涉及的数学对象有：作为输入取值于某一集合的随机变量，作为输出取值于某一集合的随机变量，取某值的条件下取某值的条件概率。 因此，信道完全可以用第一章所介绍的联合概率空间来描述。 设，与，为概率空间，则称联合概率空间，，（见第一章1.2节3）为一信道，其中，分别为随机变量，取值的集合。 为与一般的联合概率空间相区别，上述信道常记为（,,）,其中表示联合概率空间，，中取值的条件下取值的条件概率。 注意：一般，输入信道的是经过编码以后的信息，即以码字形式表示的信息，且一般来说是由数字符号组成的信息。所以用，来表示，但由于很多公式信源与信道是通用的，所以仍可用，来表示。 在信息论中，离散型随机变量的情形是最重要的，以下即针对这种情形进行讨论。 设=， =，二离散型随机变量分别取值于, ，密度阵如下： 在实际问题中，，可由统计方法得到，故得矩阵 (4.1.1) 称其为信道（,,）的转移概率矩阵。 以下关系成立： 由最后等式，即得 (4.1.2) （1）输入输出随机变量的联合概率分布为，则有 其中，是信道传输概率，即输入为，通过信道传输输出的概率，称为前向概率，通常用它描述信道噪声的特性。而是已知信道输出符号时，输入符号为的概率，称为后向概率。有时把称为输入符号的先验概率（在接收到输出符号之前，判断输入符号为的概率），而对应地把称为输入符号的后验概率（接收到输出符号之后，判断输入符号为的概率） （2）由全概率公式，可从先验概率和信道传递概率求输出符号的概率： （3）根据贝叶斯公式，可由先验概率和信道的传递概率求后向概率： 例4.1.1 （二进制对称信道） 最常见的信道是二元对称信道BSC(Binary Symmetric Channel) 设随机变量皆取值于={0，1}，即有，又转移概率为： 其中。故得转移概率矩阵 此信道（,,）称为二进制对称信道。 3、输入和输出长度为同一正整数的信道的数学模型 设，随机变量取值于同一符号集，，随机变量取值于同一符号集， ={ }， ={ }。 对于任意正整数，可得联合概率空间，，，即可得信道，，其中，，下标表示有关概率与随机变量的序号相关，例如。 由第一章还可得到联合概率空间（, ,，其中分别表示形如，的序列，。注意有关概率与每个相关，仅为记法简单起见未附以下标。显然可认为该空间形成一个输入和输出序列长度皆为的信道，记为（,）。为明确起见，称每个为单符号信道。 4、一般信道的数学模型 注意信源也表为{,} 设为一随机序列，取值于同一符号集，设为一另一随机序列，取值于同一符号集，同以前一样约定：的输出序列之集并不是由长度无穷的输出序列组成，而分别是集合，。我们用（,）表示序列(,)，仍称其为一信道。对该信道，若输入为，则以概率输出,。 5、离散平稳无记忆信道 对于信道（,）， 定义 4.1.1 对任意正整数，任意输入序列，信道（,）以概率输出，若有 (4.1.3) 则称（,）为离散无记忆信道。其中=。 (如果信道的输出只与信道该时刻的输入有关而与其他时刻的输入、输出无关，则称此信道是无记忆的，反之称为有记忆的。实际信道一般都