信息论答案.pdf

第一章 信息、消息、信号的定义？三者的关系？ 通信系统的模型？各个主要功能模块及作用？ 第二章 • 信源的分类？ • 自信息量、条件自信息量、平均自信息量、 信源熵、不确定度、条件熵、疑义度、噪 声熵、联合熵、互信息量、条件互信息量、 平均互信息量以及相对熵的概念？计算方 法? • 冗余度? 具有概率为 p (xi) 的符号 xi 自信息量： I (xi) −log p (xi) I ( y ) −logp ( y ) 条件自信息量： xi i xi i 平均自信息量、平均不确定度、信源熵： H (X ) − p ( ) log p ( ) ∑ xi xi i H(X Y) p ( ,y )I ( y ) − p ( ,y )logp ( y ) 条件熵： ∑ xi xi ∑ xi xi j j j j ij ij H (X Y) p ( , )I ( , ) − p ( , )logp ( , ) 联合熵： ∑ xi yj xi yj ∑ xi yj xi yj ij ij p (yj xi) p (yj xi) I (X ;Y) p ( , ) log p ( )p ( ) log 互信息： ∑ xi yj p ( ) ∑ xi yj xi p ( ) ij yj ij yj 熵的基本性质：非负性、对称性、确定性 2.3 同时掷出两个正常的骰子，也就是各面呈现的概 率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解：(1) 1 1 1 1 1 p (x ) × + × i 6 6 6 6 18 1