信息论和编码第二章答案.doc

................. zzzzzzzzzzzzzzzzzzzzzzz 2-1、一阶马尔可夫链信源有3个符号，转移概率为：，，， ，，，，，。画出状态图并求出各符号稳态概率。 解：由题可得状态概率矩阵为： 状态转换图为： 令各状态的稳态分布概率为，，，则： =++ ， =+ , = 且：++=1 稳态分布概率为： =，=，= 2-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为： 令各状态的稳态分布概率为、、、，利用（2-1-17）可得方程组。 且； 解方程组得： 即： 2-3、同时掷两个正常的骰子，也就是各面呈现的概率都是，求： （1）、“3和5同时出现”事件的自信息量； （2）、“两个1同时出现”事件的自信息量； （3）、两个点数的各种组合的熵或平均信息量； （4）、两个点数之和的熵； （5）、两个点数中至少有一个是1的自信息量。 解：（1）3和5同时出现的概率为： （2）两个1同时出现的概率为： （3）两个点数的各种组合（无序对）为： (1,1),(1,2),(1,3),(1,4),(1,5),(1,6) (2,2),(2,3),(2,4),(2,5),(2,6) (3,3), (3,4),(3,5),(3,6) (4,4),(4,5),(4,6) (5,5),(5,6) (6,6) 其中，(1,1), (2,2), (3,3), (4,4), (5,5), (6,6)的概率为1/36，其余的概率均为1/18 所以，事件 （4）两个点数之和概率分布为： 信息为熵为： （5）两个点数之中至少有一个是1的概率为： 2-4.设在一只布袋中装有100个用手触摸感觉完全相同的木球，每个球上涂有一种颜色。100个球的颜色有下列三种情况： （1）红色球和白色球各50个； （2）红色球99个，白色球1个； （3）红、黄、蓝、白色球各25个。 分别求出从布袋中随意取出一个球时，猜测其颜色所需要的信息量。 解：（1）设取出的红色球为，白色球为；有， 则有：=1bit/事件 (2) ,; 则有：=0.081（bit/事件） (3)设取出红、黄、蓝、白球各为、、、，有 则有：/事件 2-5、居住某地区的女孩中有25%是大学生，在女大学生中有75%身高为1.6M以上，而女孩中身高1.6M以上的占总数一半。假如得知“身高1.6M以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设女孩是大学生为事件A，女孩中身高1.6m以上为事件B，则p(A)=1/4, p (B)=1/2，p (B|A)=3/4，则 P(A|B)== I（A|B）＝log（1/p(A/B)）=1.42bit 2-6.掷两颗 ，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？ 解：（1）小圆点数之和为3时有（1,2）和（2,1），而总的组合数为36，即概率为，则 （2）小园点数之和为7的情况有（1,6），（6,1）（2,5）（5,2）（3,4）（4,3），则概率为，则有 2-7、设有一离散无记忆信源，其概率空间为 （1）、求每个符号的自信息量； （2）、信源发出一消息符号序列为 ，求该消息序列的自信息量及平均每个符号携带的信息量。 解：（1）的自信息量为： 的自信息量为： 的自信息量为： 的自信息量为： （2）在该消息符号序列中，出现14次，出现13次，出现12，出现6次，所以，该消息序列的自信息量为： I（）=14 I（）+13 I（）