09级信息论与编码复习材料.docVIP

一、填空 信息论基础主要研究信息的测度、 信道容量 、 信源和信道编码理论 等问题。 必然事件的自信息量是0，不可能事件的自信息量是无穷大。 若把掷骰子的结果作为一离散信源，则信源熵为。 当事件和彼此之间相互独立时，平均互信息量为 0 。 若二维平稳信源的信源熵为3bit/sign，则其平均符号熵为1.5bit/sign 。 信源熵H(X)表示信源输出后每个消息所提供的 平均信息量 。 布袋中有红白球各50只，若从中随意取出一只球，则判断其颜色所需的信息量为 1bit 。 单符号离散信源是用随机变量来描述的，则多符号离散信源用随机矢量来描述。 平均互信息量与信息熵、联合熵的关系是I(X;Y)=H(X)+H(Y)-H(XY) 。 条件熵H（x|y）和无条件熵H（X）的关系是小于等于。 对于理想信道，H（x|y）等于0 ；I（x；y）= H（X）。 若YZ统计独立，则H（YZ）和H（Y）、H（Z）之间的关系是H（YZ）=H（Y）+H（Z） 。 对某含有7个消息的信源，其熵的最大值为，对应为等概分布分布。 对某含有8个消息的信源，其熵的最大值为，对应为等概分布。 对某含有6个消息的信源，其熵的最大值为，对应为等概分布。 对某含有9个消息的信源，其熵的最大值为，对应为等概分布。 十六进制脉冲所含的信息量是四进制脉冲的2 倍。 八进制脉冲所含的信息量是二进制脉冲的3倍。 十六进制脉冲所含的信息量是二进制脉冲的 4倍。 离散平稳无记忆信源的N次扩展信源的熵等于离散信源熵的N 倍。 离散信源的熵越小，则该信源消息之间的平均不确定性越弱。 对于r进制树图，n级节点的个数一般为。 信道中任一时刻输出符号仅统计依赖于对应时刻的输入符号，而与非对应时刻的输入符号及其它任何时刻的输出符号无关，这种信道称之为 有干扰无记忆信道 。 对于某一信源和某一符号集来说，若有一个唯一可译码，其平均码长小于所有其它唯一可译码的平均码长，则称该码为紧致码或最佳码 。 分组码是前向纠错码 ，它可以在无需重新发射的情况下检测出有限个错码，并加以纠正。 信源编码的目的是提高通信的有效性。 对于香农编码和哈夫曼编码，编码方法唯一的是香农编码 。 若纠错码的最小距离为dmin,则可以纠错任意小于等于（dmin-1）/2个差错。 线性分组码是同时具有线性特性和分组特性的纠错码。 道的输出仅与当前输入有关，而与过去无关的信道称无记忆信道。 唯一可译码存在的充要条件是。 编码分为信源编码和信道编码两种。 信道无失真传输信息的条件是信息传输速率小于信道容量。 对称信道中，信源的最佳分布为等概分布。 信源编码和信道编码的最大区别在于信源编码需减少信源的冗余度，而信道编码需增加信源的冗余。 信道编码的目的是提高通信的可靠性。 离散信源分为离散无记忆信源 和 离散有记忆信源。 是D的下凸函数。 码码间的距离是 3 。 码字011111101、100111001之间的最汉明距离为5。 码字101110101、100111001之间的最汉明距离为3。 码字101111101、011111101、100111001之间的最小汉明距离为 2 。 码字101010101、100111001之间的最汉明距离为4。 码字101010101、100101001之间的最汉明距离为5。 码码间的距离是 3 。 将循环码0010111循环左移位1之后的码 将循环码0010111循环左移位2之后的码字1011100。 将循环码0010111循环左移4位之后的码字1110010。 二、解释下列名词 自信息量：一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息。 互信息量：xi的后验概率与先验概率比值的对数，为yj 对xi的互信息量，也称为交互信息量（简称互信息），用I(xi；yj)表示， 即： （i=1，2，……n；j=1，2，……m） 信道冗余度：设信道的信息传输速率为R=I(X,Y)，信道容量为C，信道的剩余度定义为：信道冗余度=C-I(X,Y) 离散信源：发出在时间和幅度上都是离散分布的离散消息的信源。 如：文字、数字、数据、字母等。 离散无记忆序列信源：若信源输出的消息是取值离散的平稳随机序列，并且序列中各随机变量之间彼此统计独立，则此信源称为离散无记忆序列信源. 无记忆离散信源：发出的各个符号是相互独立的；各符号序列中的各个符号之间是没有统计关联的关系。 各个符号的出现概率是它自身的先验概率。无记忆离散信源包含发出单符号的无记忆离散信源和发出符号序列的无记忆离散信源。 有记忆离散信源：发出的各个符