第4篇 离散信道.pptVIP

信息论与编码理论第4章 离散信道 4.1 离散信道的数学模型 由于干扰的存在，信道的输出Y与信道的输入X不完全相同，用条件概率p(y|x)描述。 而输入和输出又有各自的统计特性，分别用 和 表示。 4.2 信道的分类 根据输入输出事件的时间特性 离散信道：GSM 连续信道：有线电视、广播 半连续信道 根据输入输出个数 两端信道（单路信道）：电话 多元接入信道：信道的复用 广播信道：广播 根据统计特性 恒参信道：信道的统计特性不随时间发生变化。 随参信道：信道的统计特性随时间发生变化。 根据记忆特性 无记忆信道：信道的输出仅与当前的输入有关，与以前的输入无关。 有记忆信道：信道的输出不仅与当前的输入有关，与以前的输入也有关系。 几种特殊信道 无噪无损信道：输入集和输出集之间存在一一对应的关系。 有噪无损信道：有噪无损信道的一个输入符号可能对应多个输入符号，而一个输出符号只对应一个输入符号。 无噪有损信道：无噪有损信道的一个输入符号只对应一个输入符号，而一个输出符号可能对应多个输入符号。 无用信道：输入与输出相互独立，没有任何关系。 4.3 离散无记忆信道4.3.1 离散信道的数学模型 离散无记忆信道中，当前的输出yj仅与当前的输入xi有关，与过去的输入无关，即yj出现的概率仅与xi有关 信道转移矩阵或者信道矩阵 例4-3 假设串口通信的误码率为4%，即A发送“0”而B接收到“1”的概率是0.04，A发送“1”而B接收到“0”的概率也是0.04，可以得到该信道的信道转移矩阵 二进制对称信道 简称为BSC（Binary Symmetric Channel） 二元：输入和输出符号集均为{0,1} 对称：1变成0和0变成1的概率相等。 p(0|0)=p(1|1)=1-p，p(0|1)=p(1|0)=p BSC的信道矩阵： 4.3.2 信道疑义度和噪声熵 定义4-1 称输入空间X对输出空间Y的条件熵 为信道疑义度。 含义：收到全部输出符号Y以后，对输入符号X尚存在的平均不确定性。 这种不确定性是由信道干扰引起的。 对无噪信道：H(X|Y)=0。 H(X|Y)≤H(X)：收到输出符号Y以后，总能消除一些对X的不确定性，获得一些信息。 【定义4-1】 称信道的输入空间X对输出空间Y的条件熵 为信道疑义度。 信道疑义度的含义是观察到信道的输出之后仍然保留的关于信道输入的平均不确定性。 这种对X尚存在的不确定性是由于传输过程中的信道干扰引起的。 4.3.3 平均互信息 定义4-3 原始信源熵与信道疑义度之差称为平均互信息。 I(X;Y)=H(X)-H(X|Y) 平均互信息具有非负性。 含义：接收到信道的输出符号集Y之后，平均每个符号获得的关于信道输入符号集X的信息量，即通过信道传送过去的信息量。 两个定理 定理4-1 对于固定的信道，平均互信息I(X;Y)是信源概率分布p(x)的上凸函数。 固定信道：信道传递概率p(y|x)不变 定理4-2 对于固定的信源分布，平均互信息I(X;Y)是信道传递概率p(y|x)的下凸函数。 固定信源：信源概率分布p(x)不变 信源 信道 平均互信息的例子 例4-6 信源：　　 　 信道： 则互信息量： 固定信道 p固定 ?从0到1 变化 固定信源 ?固定 p从0到1 变化 4.4 信道的组合 组合方式 并行：积信道 串行：级联信道 例如：Internet 例如：GSM 重点介绍级联信道（串联信道） 假设串联的两个信道为信道I和信道II，信道I的传递概率为p(y|x)，信道II的传递概率为p(z|xy)。 定理4-3 若随机变量X,Y,Z构成一个马尔可夫链（p(z|xy)=p(z|y)），则有 I(X;Z)≤I(X;Y) I(X;Z)≤I(Y;Z) 定理4-3叫做数据处理定理，它的含义是通过串联信道的传输，只会丢失信息，不会增加信息，至多保持原来的消息量。这是信息不增性原理。 信道I p(y|x) 信道II p(z|xy) X Y Z 例4-7 两个二元对称信道串联 一个马尔可夫链，则串联信道总的信道矩阵为 则 I(X;Y)=1-H(p) I(X;Z)=1-H(2p(1-p)) 从图中能够看出 I(X;Z)≤I(X;Y) 例4-8 信道I和信道II的信道矩阵分别为 X,Y,Z构成一个马尔可夫链，则 4.5 信道容量4.5.1 信息传输率 在信息传输过程中，信道每传递一个符号所能携带（载荷）的平均信息量称为信道的信息传输