第十小组作业.docVIP

1.2 简述信息传输系统的五个组成部分的作用？ 答：信息传输系统的五个组成部分的作用分别是： 信源是产生消息的源。 信道是信息传输和存储的媒介。 编码器是将消息变换成适合于信道传送的信号的设备;译码器是编码器的逆变换，分为信道译码器和信源译码器，信道译码器是从受干扰的信号中尽可能地再现信源的输出。信源译码器是将信道中传输的各种信号还原成受信者能感知的消息。 信宿是消息的接受者，可以是人，也可以是消息。 1.6 有一个二元对称信道，p=0.06，设该信道以1000个符号/秒的速度输入符号，现有一消息序列共有9500个符号，并设消息中q（0）=q(1)=0.5,试问从信息传输的角度来考虑10秒钟能否将消息无失真地传完？ 解：信源符号等概率分布，故信源熵为bit，9500个符号的信息量为9500bit。 又由二进制对称信道的信道矩阵 ， bit/符号 发送和接收符号的联合概率矩阵为 =0.327 bit/符号 10秒钟可以传送bit，小于9500bit，故无法在10秒内无失真地传送。 从信息传输的角度来考虑10秒钟不能将消息无失真地传完。 1.8设有一反馈通信系统如题图1-2所示，信源为二元离散无记忆信源，信道为二元删除信道，反馈信道为无干扰信。译码器判断若接到删除符号就通知发端重传原来的符号（0或1），若接收到为0或1，译码器就将它送给信宿，同时通知发端送下一个符号。试求： （1）、每个信息符号被接收端接收所需的平均传送次数。 （2）、信宿接收的符号的错误概率。 信宿译码器码器二元删除信道信源编码器 信宿 译码器 码器 二元删除信道 信源 编码器 无干扰反馈信道解： 无干扰反馈信道 （1）、由信道为二元删除信道，且反馈信道为无干扰信道可知：信宿接收到信源的信号必为0或1。每个信息符号如果接收为e，则会重新发送，直至接收为0或1，对于单一信号如0，其信宿接收到信号服从几何分布。那么每个信号被接收端接收所需的平均传送次数就是接收端接收到信号的期望。又几何分布知识可知该期望为 QUOTE \* MERGEFORMAT ，即平均传送次数是 QUOTE \* MERGEFORMAT （2）、由于译码器每次接收到e就会无干扰反馈到编码器，而对于二元删除信道，0发送为0或e，1发送为1或e，所以不会有接收到错误的信号出现，故信宿接收的符号错误概率为0。 2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？ 答：信源各个状态为等概率分布时，熵值最大，并且等于信源输出状态数；当一个信源是一个确知信源时，其熵为零，也即最小。 2.2平均互信息量I(X;Y)与信源概率分布q(x）有何关系？与p(y|x)又是什么关系？ 答：如下面的公式所示： 2.3熵是对信源什么物理量的度量？ 答：熵是信息论中用来衡量信源信息量有序化程度的一个概念。信源熵值与信源有序化程度成反比；有序度越高，信源熵值越低，反之亦成立。 2.4 设信道输入符号集为，则平均每个信道输入符号所能携带的最大信息量为多少？ 答案： 2.5 根据平局互信息量的链规则，写出的表达式。 答案： 2.6 互信息量有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？ 互信息量有时候取负值，不完全是由于信道存在干扰或噪声的原因。如果互信息量取负值时，说明信息在收到消息Y后，不但没有使X的不确定性减少，反而使X的不确定性增加，所以获得的信息量味负值。这是由于通信收到干扰（噪声）或发生错误所造成的。 2.9（1）对于离散无记忆信源DMS，，试证明： ，当时，达到最大值。 对（1）中的DMS，考虑它的二次扩展信源， 证明：。 证明： （1） （2） 2.10一副扑克牌（不用大小王），试问： （1）任意特定排列给出的信息量是多少？ （2）从52张牌中抽取13张，所给出的点数都不相同时得到多少信息量？ （3）从52张牌中任意抽取1张，然后放回，结果视为从DMS中取得样本，这个DMS的熵为多少？ （4）若（3）中不计颜色，熵又为多少？ 解：（1） （2） （3） （4） 2.13已知平均每100人中有2人患有某种病，为了查明病情进行某项指标的化验。化验结果对于病人总是阳性的，而对于健康人来说，这项指标有一半可能为阳性，一般可能为阴性。问这项化验对于查明病情提供了多少信息？ 答案： 2.17 等概信源消息集：,,...,编码为=000，=001，...=111,通过错误概率为p的二进制对称信道BSC传输，在接收=100的过程中，求： （1）1与之间的互信息量 （2）10与之间的互信息量 （3）100与之间的互信息量 解： 用“1”表示收到1，“10”表示收到10，“100”表示收到100 表示接收符号