信息与编码理论习题解前六章.doc

信息与编码理论习题解 2.1解: 平均每个符号长为:秒 每个符号的熵为比特/符号 所以信息速率为比特/秒 2.3 解:(a)一对骰子总点数为7的概率是 所以得到的信息量为 比特 (b) 一对骰子总点数为12的概率是 所以得到的信息量为 比特 2.5 解:易证每次出现i点的概率为,所以 2.9 2.12 解:令X=X1,Y=X1+X2,Z=X1+X2+X3, H(X1)=H(X2)=H(X3)= 比特 H(X)= H(X1) = =2.585比特 H(Y)= H(X2+X3) = = 3.2744比特 H(Z)= H(X1+X2+X3) = = 3.5993比特 所以 H(Z/Y)= H(X3)= 2.585 比特 H(Z/X) = H(X2+X3)= 3.2744比特 H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585=1.8955比特 H(Z/XY)=H(Z/Y)= 2.585比特 H(XZ/Y)=H(X/Y)+H(Z/XY)=1.8955+2.585 =4.4805比特 I(Y;Z)=H(Z)-H(Z/Y)=H(Z)- H(X3)= 3.5993-2.585=1.0143比特 I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744=0.3249比特 I(XY?;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y) =1.0143比特 I(Y;Z/X)=H(Z/X)-H(Z/XY)= H(X2+X3)-H(X3) =3.2744-2.585=0.6894 bit I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y) =0 2.27解：考虑到约束条件 采用拉格朗日乘子法 当且仅当时，等式成立。 将带入： 实现最大微分熵的分布，相应的熵值log（me） 3.5解: （a）二元Huffman编码 平均码长 （b）三元Huffman编码 注意：K=10为偶数，需要添一个概率为零的虚假符号 3.9 我们认为，第一种三元异字头码比第二种三元异字头码更好。以下是我们的理由。 离散信源每隔一个定长的时间间隔就产生一个随机变量。这个随机变量共有8个可能的事件。 使用第一种三元异字头码，则每隔一个定长的时间间隔就产生一个长度为2的码字。 使用第二种三元异字头码，则每隔一个定长的时间间隔产生一个长度可能为1，可能为2，也可能为3的码字。 综上所述，第一种三元异字头码使得编码器的时钟固定，而第二种三元异字头码使得编码器的时钟随机。因此第一种三元异字头码的编码器更简单。 4.1 4.8解： 每个符号的熵为 采样频率Fs为：Fs=2W=8000 Hz 所以信息速率R为： 4.9解：每象点8电平量化认为各级出现的概率相等，即H(U)=3 bits 所以信息速率R为： 4.10解： 4.12解： 高斯信道的信道容量为 习题5.1 解：DMC信道 有 因为 所以，最大后验概率译码。 译码错误概率 若按最大似然译码准则译码为： 译码错误概率 可见,最大似然译码的译码错误概率最大后验概率译码错误概率6.2 设证件号码由7位10进制数x7x6…x1构成。今附加一位校验位x0，其中 若(x7x6…x1)＝(8245123)，试求x0。若其中数字x6模糊不清时，能否恢复出原来的数字？ 解：x0=3×3+2×9+1×27+5×81+4×243+2×729+8×2187(mod10) =5。 若其中数字x6模糊不清时， 5=3×3+2×9+1×27+5×81+4×243+ x6×729+8×2187(mod10)。 7= x6×9(mod10)。 x6=7×9(mod10)=3。 一个校验矩阵为H=[3, 1, 7, 9, 3, 1, 7,1]。即： 8维向量(x7x6…x1x0)是一个码字，当且仅当 3x7+x6+7x5+9x4+3x3+x2+7x1+x0(mod10)=0。 若码字其中有个别数字模糊不清，说明将码字输入了“纯删除信道”。当只有一个位置模糊不清时，根据其它7个位置的值可以恢复模糊不清的数字。 严重的问题：10不是素数！因此，{0, 1, … , 9}关于模10加法和模10乘法不构成有限域！不过只要生成矩阵G关于模10是满行秩的，仍然可以得到10元(8,7)线性分组码。 缺少2.19 3.3 3.8 5.5 6.3 6.16 7.1 7.3 7.4 7.8 第九章7.3 设（3,1,2）二元卷积码的生成多项式为,, ,试画出码的树图，格图，状态图，并给出编码器电路。 解：由题，，， 状态转移图：由于=1，m=2.