信息论第2章业.doc

第2章作业 同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3和4”时， 居住在某地区的女孩中有25%是大学生,在大学生中有75%是身高1.6以上的，而女孩中身高1.6米以上的占总数一半.假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量 解： 信息量：比特 设离散无记忆信源，其发出的消息为（202120130213001203210110321010021032011223210），求 求每个符号的自信息量； 若信源发出一消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)，求该消息序列的自信息量及平均每个符号携带的信息量。 有一信源输出X∈{0,1,2}，其概率为p0=1/4，p1=1/4，p2=1/2。设计两个独立实验去观察它，其结果为Y1∈{0,1}和Y2∈{0,1}。已知条件概率为 P(Y1|X) 0 1 P(Y2|X) 0 1 0 1 0 0 1 0 1 0 1 1 1 0 2 1/2 1/2 2 0 1 求： I(X;Y1)和I(X;Y2)，并判断哪一个实验好些。 I(X;Y1,Y2)，并计算做Y1和Y2两个实验比做Y1或Y2中的一个实验各可多得多少关于X的信息。 I(X;Y1/Y2)和I(X;Y2/Y1)，并解释它们的含义。 解：（1） 类似的 =0.5bit/sym I(X;Y1)= －=0.5 bit/sym =0 bit/sym I(X;Y1)= －=1bit/sym I(X;Y1)I(X;Y2),,故第二次试验更好，因为获得的信息量更多。 （2）因为Y1和Y2相互独立 类似地得出Y1和Y2的联合概率分布 由P(XY1Y2)=P(X)P(Y1Y2︱X)= P(X) P(Y1︱X) P(Y2︱X)， 得出X和Y1Y2的联合概率分布 Y1 Y1 Y2 0 1 0 1 XY1Y X Y1Y2 0 1 0 0 1 0 Y1 Y1和Y2的联合概率分布 X和Y1Y2的联合概率分布 =-4·log=2bit/sym X和Y1Y2的联合概率分布 =-4·log=2bit/sym =H(,,)=1.5bit/sym =1.5+2-2=1.5bit/sym - I(X;Y1)=1.5-0.5=1 bit/sym - I(X;Y2)=1.5-1=0.5 bit/sym 故做Y1和Y2两个实验比做Y1或Y2中的一个实验各可多得1 bit/sym和0.5 bit/sym。 （3）=－ = ==0.5 bit/sym 同理，得出==1 bit/sym 结果说明，在做完实验Y1或Y2的条件下再做第二个实验，并没有获得更多的信息，因为Y1和Y2相互独立，没有任何关联。 为了传输一个由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A,01代表B,10代表C,11代表D。每个二元码脉冲宽度为5ms。 不同字母等概率出现时，计算传输的平均信息速率？ 若每个字母出现的概率分别为pA=1/5，pB=1/4，pC=1/4，pD=3/10，试计算传输的平均信息速率？ (1) 因为A,B,C,D四个字母,每个字母用两个码,每个码为5ms, 所以每个字母用10ms 当信源等概率分布时,信源熵为H(X)=log(4)=2 平均信息传递速率为=2bit/ms=200bit/s (2) 信源熵为 H(X)= 传输的平均信息速率为 =0.198bit/ms=198bit/s （1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5×105个像素和10个不同亮度电平，设每秒要传送30帧图像，所有像素是独立变化的，且所有亮度电平等概率出现，求传送此图像所需的信息率（bit/s）。 （2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率大约2.5倍。 解：（1）需要5×105个像素和10个不同亮度电平，则可能出现的不同画面为 每个画面等概率出现，P=1/ 每帧图像的熵 H(X)= Log()=5×﹒Log10=1.66×比特 传送此图像所需的信息率： 30×H(X)=4.98×比特/秒 （2）彩色系统，要求三十个不