信息论(四).docxVIP

信息论与编码试题 填空题： 1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源） 2.连续信源的熵是（无穷大），不再具有熵的物理含义。 3.数据处理过程中信息具有（不增性）。 4.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。 5、必然事件的自信息是 0 。 6、不可能事件的自信息量是 ∞ 。 7、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 判断题： （对）1、信息是指各个事物运动的状态及状态变化的方式。 （对）2、信息就是信息，既不是物质也不是能量。 （错）3、马尔可夫信源是离散无记忆信源。 （错）4、不可约的马尔可夫链一定是遍历的。 （对）5、单符号连续信源的绝对熵为无穷大。 选择题： 给定xi条件下随机事件yj所包含的不确定度和条件自信息量p(yj /xi)，（D） A．数量上不等，单位不同 B．数量上不等，单位相同 C．数量上相等，单位不同 D．数量上相等，单位相同 条件熵和无条件熵的关系是： （C） A．H(Y/X)＜H(Y) B．H(Y/X)＞H(Y) C．H(Y/X)≤H(Y) D．H(Y/X)≥H(Y) 根据树图法构成规则， （D） A．在树根上安排码字 B．在树枝上安排码字 C．在中间节点上安排码字 D．在终端节点上安排码字 下列说法正确的是： （C） A．奇异码是唯一可译码 B．非奇异码是唯一可译码 C．非奇异码不一定是唯一可译码 D．非奇异码不是唯一可译码 下面哪一项不属于熵的性质： （B） A．非负性 B．完备性 C．对称性 D．确定性 计算题： 1、居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 I(A|B)=-log0.375=1.42bit 2. 若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。 解： =2bit/自由度 该信源的绝对熵为无穷大。 3、设X、Y是两个相互独立的二元随机变量，其取0或1的概率相等。定义另一个二元随机变量Z=XY(一般乘积)。试计算 (1) (2) (3) (4) ; 解：(1) Z01P(Z3/41/4 (2) (3) (4) 4、设一线性分组码具有一致监督矩阵 1）求此分组码n=?,k=?共有多少码字？ 2）求此分组码的生成矩阵G。 3）写出此分组码的所有码字。 解：1）n=6,k=3,共有8个码字。（3分） 2）设码字由得 令监督位为，则有 生成矩阵为 3）所有码字为000000，001101，010011，011110，100110，101011，110101，111000。（4分）