2014信息传输原理习题部分参考答案.docVIP

第一章 习题 题（1.1）英文字母中e的出现概率为0.105，c的出现概率为0.023，o的出现概率为0.001，试分别计算它们的自信息量（以比特为单位）。 解：由题意可得 Ie= -log0.105=3.25bit Io= -log0.001=9.97bit Ic= -log0.023=5.44bit ∴字母e的自信息量是3.25bit，字母c的自信息量是5.44bit，字母o的自信息量是9.97bit。 题（1.2）某个消息由字符A,B,C,D组成，已知它们的出现概率为，，，，试求由60个字符所构成的消息，其平均自信息量是多少比特。 解：由题意可得 H（x）= -（log+*2*log+log）=1.906bit ∴由60个字符构成的消息的平均自信息量是1.906*60=114.36bit 题（1.3）在二进制信道中信源消息集为，且已知出现概率。信宿消息集为，信道传输概率为和。试求该信道所能提供的平均互信息量等于多少？ 解： ∵ PY/X=，PX= ∴PY= PX *PY/X=*= ∴H（Y）=-（log+log）=0.989bit H（Y/X）=H（，）+H（，）=0.678bit ∴I（X，Y）=H（Y）-H（Y/X）=0.989-0.678=0.311bit 题（