信息论考试题纲.docx

信息熵 码的重量 等长码 离散无记忆信道 1 ?设信道输入符号集为{石，X2 ,…，Xk},则平均每个信道输入符号所能携带的最大信息量为 多少？ 2 ?信源有4个消息，对其进行二进制编码，问 r X =[x X2 X3 X4 ,q(X)」 0.25 0.25 0.25 0.25 (1 )若信源等概分布 则每个消息至少需要几个二 进制代码? (2)若信源发布为附 (2)若信源发布为 附)厂/2 X2 1/4 x x 3 4 ，则如何编码才能得到紧致码? 1/8 1/8 3?比较最大后验概率译码准则与最大似然译码规则异同。 4?阐述码的最小距离定义，以及其与码的抗干扰能力的关系。