老师整理的习题(答案在百度文库上搜下,我有传)..docVIP

chp02-03习题课： 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？ （提示：因假设已知星期一至星期日的排序，而且也知道一星期只有七天，故在不知道今天是星期几的情况下，问明天是星期几的答案，只可能是星期一至星期日七天之一。而在已知今天是星期四的情况下，问明天是星期几的答案必定是星期五。） 居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 设离散无记忆信源 其发出的消息为（202120130213001203210110321010021032011223210），求 此消息的自信息是多少？ 在此消息中平均每个符号携带的信息量是多少？ 一阶马尔可夫信源的状态图如图4.1所示，信源X的符号集为｛0，1，2｝并定义。 求信源平稳后的概率分布P(0)，P(1)和P(2)。 求此信源的熵。 近似认为此信源无记忆时，符号的概率分布等于平稳分布。求近似信源的熵H(X)并与H∞进行比较。 对一阶马尔可夫信源取何值时取最大值，又当和时结果如何。 图4.1 一阶马氏信源的状态转移图 5、设给定两随机变量X1和X2，它们的联合概率密度为 求随机变量Y= X1+ X2的概率密度函数，并计算变量Y的熵h（Y）。 （提示：独立正态分布的随机变量之和仍是正态随机变量，其均值等于原均值之和，方差等于原方差之和。） 有一信源发出恒定宽度，但不同幅度的脉冲，幅度值x处在a1和a2之间。此信源连接至某信道，信道接收端接收脉冲的幅度y处在b1和b2之间。已知随机变量X和Y的联合概率密度函数 试计算h(X),h(Y),h(XY)和I(X;Y)。 设某连续信道，其特性如下 ： 而信道输入变量X的概率密度函数为： 试计算：（1）信源的熵h（x）。 （2）平均互信息I（X;Y）。 Chp031,032 设有一个信源，它产生0，1序列的消息。它在任意时间而且不论以前发生过什么符号，均按P（0）=0.4，P（1）=0.6的概率发出符号。 试问这个信源是否是平稳的？ 试计算H（X2） ，H（X3|X1X2）及limHN（X） （N-∞）。 试计算H（X4）并写出X4信源中可能有的所有符号。 设有一信源，它在开始时以P（a）=0.6，P（b）=0.3，P（c）=0.1的概率发出X1。如果X1为a时，则X2为a，b，c的概率为1/3；如果X1为b时，则X2为a，b，c的概率为1/3；如果X1为c时，则X2为a，b的概率为1/2，为c的概率为0.而且，后面发出Xi的概率只与Xi-1有关，又P（Xi|Xi-1）=P（X2|X1） i=3.试利用马尔可夫信源的图示法画出状态转移图，并计算信源熵H∞。 黑白气象传真图的消息只有黑色和白色两种，即信源X=｛黑，白｝，设黑色出现的概率为P（黑）=0.3，白色的出现概率P（白）=0.7. 假设图上黑白消息出现前后没有关联，求熵H（X）。 假设消息前后有关联，其依赖关系为P（白|白）=0.9，P（黑|白）=0.1，P（白|黑）=0.2，P（黑|黑）=0.8，求此一阶马尔可夫信源的熵H2. 分别求上述两种信源的剩余度，并比较H（X）和H2的大小，并说明其物理意义。 H(X)=0.881比特/符号；H2=0.553比特/符号；信源剩余度γ1=0.119；γ2 =0.447. H（X）H2 结果说明：当信源的消息符号之间有依赖时，信源输出的消息的不确定性减弱。本题中，当有依赖时，前面已经是白色消息，后面绝大多数可能是出现白色的消息；前面是黑色消息，后面基本可猜测是黑色消息。这时信源的平均不确定性减弱。所以，信源消息之间有依赖时信源熵小雨信源消息之间无依赖时信源熵。这表明信源熵正是反映戏院的平均不确定性的大小。而信源剩余度正是反映戏院消息依赖关系的强弱，剩余度越大，信源消息符号之间依赖关系就越大。 4、设有一连续随机变量，其概率密度函数为 P（x）= Acosx ︱x︱=π/2 0 x取其他值 又在定义域区间内符合完备集，试求这个随机变量的熵。 答案：A=1/2,H（x）=-2AlnA-2Aln2+2A=1 奈特/样值 作业：P49 3.12中的（1）和（2） chp04习题 课后习题（P81） 4.1 4.2 4.6 4.15 4.16 一个快餐店只提供汉堡和牛排，当顾客进店以后只