信息论名词解释.doc

信息论部分基本概念和名词术语 消息(或称为符号) ：信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型： 自信息量： 一个随机事件发生某一结果后所带来的信息量成为自信息量，定义为其发生概率对数的负值。 表达平均互信息量的熵I(X;Y), 是确定通过信道的信息量的多少，因此称它为信道传输率或传信率。I(X;Y)就是接收到符号Y后平均每个符号获得的关于后平均每个符号获得的关于X的信息量——平均意义上每传送一个符号流经信道的平均信息量。 离散平稳无记忆信源：假定随机变量欲裂的长度是有限的，如果信源输出地信息序列中，符号之间的无相互依赖关系，则称这类信源为离散平稳无记忆信源信源冗余度：信源熵的相对率为信源实际的信息熵与同样符号数的最大熵的比值：η=H无穷/H0，定义信源的冗余度为1减去信源熵的相对率η，即ξ=1-η。信道容量：信道在单位时间上能够传输的最大信息量。(含糊度) H(X|Y)：表示在输出端接收到Y后，发送端X尚存的平均不确定性。这个对X尚存的不确定性是由于干扰引起的。 信道散布度H(Y|X)：表示在已知X后，对于输出Y尚存的平均不确定性； 平均失真度：定义平均失真度为失真函数的数学期望，及d（xi,yi）在X和Y得联合概率空间P(XY)中的统计平均值：D=E[D（xi,yi）] ，起是在平均的意义上，从总体上对整个系统失真情况的描述。D，称这种对于失真的限制条件为保真度准则保真度准则。 信息率失真函数： 在保真度准则下，再现信源消息所必须获得的最少平均信息量；在保真度准则下，再现信源消息所必须获得的最少平均信息量；满足保真度准则下，信源可压缩的最小值。 信源编码：就是针对信源输出符号序列的统计特性，通过概率匹配的编码方法，将出现概率大的信源符号尽可能编为短码，从而使信源输出的符号序列变换为最短的码字序列针对信源输出符号序列的统计特性，通过概率匹配的编码方法，将出现概率大的信源符号尽可能编为短码，从而使信源输出的符号序列变换为最短的码字序列。 编码效率：用最小平均码字长度 Kmin和实际的编码平均长度和实际的编码平均长度 K之比来表示: 最佳码：对于某一个信源和某一码符号集来说，若有唯一可译码，其平均编码长度小于所有其他唯一可译码的平均编码长度，则该码为对于某一个信源和某一码符号集来说，若有唯一可译码其平均编码长度小于所有其他唯一可译码的平均编码长度，则该码为最佳码（或紧致码）。 信道编码：从消息（或符号）到信道波形或矢量的映射过程；希望得到通信系统与信道统计特性相匹配的编码。 汉明距离：长度为n的两个符号序列(码字)αi和βj之间的距离是指αi和βj之间对应位置上不同码元的个数，用符号之间对应位置上不同码元的个数，用符号D(αi,βj)表示。这种码字距离通常称为表示。这种码字距离通常称为汉明距离。 完备码：如果所有禁用码字都包含在某码球内，可以按最大似然译码原则向球心单向译码，这样的码叫如果所有禁用码字都包含在某码球内，可以按最大似然译码原则向球心单向译码，这样的码叫完备码。 最大似然译码准则（不再依赖先验概率）： 即可直接从信道矩阵中去选定译码函数。 错误图样：设发送 X=[x1,x2,…,xn]，接收，接收 Y=[y1,y2,…,yn]，则两者的差别，则两者的差别 E=X-Y=[e1,e2,…,en] 称为错误图样。 线性分组码：为了进行信道纠错编码，需要将长为k 的序列 u映射为长为 N 的序列 C=(C0,C1,…,CN-1)，N=k，Ci取自GF(q)，称每个 C 为码字，C 的集合为码集、码书（或简称码）。若这种映射关系是线性的，就称为的集合为码集、码书（或简称码）。若这种映射关系是线性的，就称为线性码。 前向纠错（FEC）：是指差错控制过程中是单向的，无须差错信息的反馈。 信息反馈（IRQ）方式：又称回程校验。接收端把收到的码全部由反馈信道送到发送端，在发送端将原发送的码进行比较，发现错误后，把出错的码再次重发，直到接收端正确接受为止。