信息论与编码.doc

月亮系列 填空 按照消息在时间和幅度上信源分类为：离线信源，连续信源。 信源的冗余度来源于： 根据是否允许失真信源编码可分为：无失真，限失真。 AWGN波形信道平均信道受限： 香农公式C=Blog2C / 1+s/n 当归一化信道容量C/B趋近0时，信道完全丧失通信功能，此时：-1.6dB。 同时投两个色子，3和5同时出现的自信息量： 设信源X={0，1} P（0）=1/8信源熵为：6/8 N=7循环码生成多项式g（x）=x4+x2+x+1 求：K= 3，h（x）=x3+x+1。 差错控制的基本方式大致分为 : FEC , ARQ , HEC 。 离散无记忆信源X符号个数n，则信源符号：等概 信源熵： log2n 离散对称输入也为：等概 设信源X={0，1} P（0）=1/8则熵为：6/8 。 信源发出m个0和（100-m）个1，自信息量为：mlog28+（100-m）log27/8 。 判断 卷积码是一组特殊线性分组码：错 信源的消息通过信道传输误码提高和信宿获得信息量下降：错 对一个离线信源进行失真编码定长码字k不定长码字K则K>k：错 平均互信息量I（X:Y）对信源概率分布P（Xi）和条件概率分布P（Yi |Xi）：对 自信息量和互信息量是条件量满足I （Yi ，Xi）=I（Xi）+ I （Yi ，Xi）：对 M阶马尔可夫信源和消息长M有记忆信源其信息相同：错 算数编码是一个无失真编码基本思想的编码：错 连续信源和离散信源都具有非负性：对 率失真函数值与信源无关：错 离散信源或数字信号理论基础是限失真：错 可用克劳夫特不等式做唯一：错 条件熵和无条件熵关系HY(X)=H(Y)：对 非奇异码是唯一可译码：错 任一多个码字的线性组合仍是码字：对 纠错编码中带宽与差错减少关系是：错 线性码最小差别越大纠错能力越强：对 最大似然译码等价等概：对 {0，01，011}不属于及时码：错 DMC信道转移概率矩阵【xp】=[4个1/3 4个1/6] : 错 互信息量I（X:Y）表示收到Y后对信源不确定度：对 简答 （P65）什么是香农容量公式为保证足够大的信道容量可采用哪两种方法？ 香农公式：C=Wlog（1+Ps/NoW） 高斯白噪声加性信道单位时间的信道容量，Ps是信号的平均功率：NoW为高斯白噪声在宽带W内的平均功率，No/2是功率谱密度。 保证信道容量的方法：1.增大带宽，2.增大信噪比。 （P67）信源编码和信道编码的目的是什么？ 为了达到更好更高的通信效果，主要为以下两个方面有重要的影响： 1.信源：符号变换 匹配 冗余度压缩 概率均匀 2.信道：降低平均差错率 （P96）简单介绍哈夫曼编码步骤？ 共为五步： 信源信息符号按出现概率排序 取连个概率最小的字母分别配以0，1码元。相加作为新字母与未分配的二进制字母重新排队。 重复2 直到两个符号配以0，1为止。 从最后一级开始，前向返回各个信源对应的码元序列和码字。 （P4）画出通信系统模型？ 5.（P17 P24）什么是平均自信息量和平均互信息量？ 平均自信息量：每个符号所能提供的信息量，只与信源各符号出现的概率有关，可以用来表征信源输出信息的总体特征。它是信源中各个符号自信息量的数学期望。 平均互信息量：物理意义I(X;Y)=H(X)-H(X|Y), I(X;Y)=H(Y)-H(Y|X)。 平均互信息量为扰离散信道上传输的平均信息量。 6.（P50）信息传输率，信道容量，最佳输入分布的概念？平均互信息，信源概率分布，信道的传输概率，三者之间的关系。 信息传输率：信道在单位时间内平均传输的信息量。 信道容量： 信道所能传送的最大信息量。 最佳输入分布：传输信息时信道能否提供最大传输能力。 三者的关系：？这个我不会啊- -1，2分而已不要写了。 7.（P25）什么是损失熵 噪声熵 无损信道？如果输入R*S则信道为？ 损失熵：H（X/Y）为信道疑义度也称为损失熵。 噪声熵：确定信道噪声所需的平均信息量。 无损信道：没有噪声不损失信息量的信道。 8.【 x】=[x1 x2] 求信源熵，信息效率，冗余度。 【p】=[1/4 3/4] 求二次扩展信源概率的空间和熵。 9.（P54）两个BSC串联，写出转移概率矩阵？ 10.有一个DMC信道转移矩阵P（ X | Y）= [ 1/2 1/3 1/6] [ 1/6 1/2 1/3] [ 1/3 1/6 1/2] p[x]=[0.5 0.05 0.25] 确定最佳译码规则，最大似然译码规则，平均差错率？ 计算 已知（X,Y）的联合概率P（X,Y） YX 0