[理学]信息论与编码理论基础第四章.ppt

信道 信道是传输信息的媒质或通道。 信息是抽象的，但传送信息必须通过具体的媒质。例如 二人对话，靠声波通过二人间的空气来传送，因而二人间的空气部分就是信道。 邮政通信的信道是指运载工具及其经过的设施。 无线电话的信道就是电波传播所通过的空间，有线电话的信道是电缆。 信道 在理论研究中，一条信道往往被分成信道编码器、信道本身和信道译码器。人们可以变更编码器、译码器以获得最佳的通信效果，因此编码器、译码器往往是指易于变动和便于设计的部分，而信道就指那些比较固定的部分。 信道是信息论中的一个主要概念。它是用来传送信息的，所以理论上应解决 信道能无错误地传送的最大信息率，也就是信道容量的计算问题，并 证明这样的信息率是能达到或逼近的,最好还能知道如何实现, 这就是信道编码问题。 这些是山农建立信息论时提出的关于信道的理论问题。他自己回答了一些，以后许多学者又使之不断完善。 一般而论，对于无记忆信道，这些问题已基本解决，但具体编码方法，如采用代数码来纠错还不能达到要求。 第四章：信道及其容量 §4.1 信道分类 §4.2 离散无记忆信道 §4.5 信道的组合 §4.6 时间离散的无记忆连续信道 §4.7 波形信道 所有信道都有一个输入集A，一个输出集B以及两者之间的联系，如条件概率P(y│x)，x∈A，y∈B。这些参量可用来规定一条信道。  输入集就是信道所容许的输入符号的集。通常输入的是随机序列, 随机过程在限时或限频的条件下均可化为随机序列。在规定输入集A时，也包括对各随机变量的限制,如功率限制等。 输出集是信道可能输出的符号的集。输出序列可以是数或符号，也可以是一组数或矢量。  按输入集和输出集的性质，可划分为： 当输入集和输出集都是离散集时，称信道为离散信道。电报信道和数据信道就属于这一类。 当输入集和输出集都是连续集时，称信道为连续信道。电视和电话信道属于这一类。 当输入集和输出集中一个是连续集、另一个是离散集时，则称信道为半离散信道或半连续信道。连续信道加上数字调制器或数字解调器后就是这类信道。 当输入集和输出集都是连续集，输出时刻离散时，称信道为时间离散的连续信道。 当输入集和输出集都是连续集，且输出时刻连续时，称信道为波形信道。 根据信道的用户多少，可以分为： 两端信道： 它是只有一个输入端和一个输出端的单向通 信的信道，它是多用户信道的基础。 多端信道：当输入和（或）输出不止一个时,称为多用户信道，也就是几个用户合用一个信道。 当有几个输入而输出只有一个时,习惯上称为多址接入信道。 当只有一个输入，而输出有几个时,就称为广播信道。 根据信道的参数与时间的关系，信道又可以分为： 恒参信道：参数不随时间变化 随参信道：参数随时间变化 无记忆信道：信道当时的输出只依赖于当时的输入，与其它时刻的输出及输入都无关系，即 P((Y1Y2…YN)=(y1y2…yN)|(X1X2…XN)=(x1x2…xN)) =P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)…P(YN=yN|XN=xN) 。 有记忆信道 平稳信道：信道在不同时刻的响应特性（转移概率）是相同的，即 对任意x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}，任意两个时刻u和v，还有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)。 离散无记忆平稳信道的定义 信道容量的定义及定理 离散无记忆平稳信道的信道容量的计算 特殊的离散无记忆平稳信道－准对称信道的信道容量的计算 三种特殊的准对称信道的信道容量的计算 一般离散无记忆平稳信道的信道容量的计算 §4.2 离散无记忆信道 定义4.2.1和定义4.2.2(p104) 如果 信道的输入为随机变量序列X1, X2, X3, …，其中每个随机变量Xu的事件集合都是{0, 1, …, K-1}， 信道的输出为随机变量序列Y1, Y2, Y3, …，其中每个随机变量Yu的事件集合都是{0, 1, …, J-1}， 则称该信道为离散信道。如果更有 P((Y1Y2…YN)=(y1y2…yN)|(X1X2…XN)=(x1x2…xN)) =P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)…P(YN=yN|XN=xN)， 则称该信道为离散无记忆信道（DMC）。如果更有 对任意x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}，任意两个时刻u和v，还有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)， 则称该信道为离散无记忆平稳信道。 例：二元对称信道BSC p=0.1 例：二元对称信道BSC 当N=1时， p(0|0)=p(1|1)=0.9; p(0|1)=p(0|1)=0.1; 当N=2时，