信息论复习资料.pdfVIP

1、 说明信息、消息及信号三者之间的联系与区别？ 2、 信息论的研究目的和对象？ 3、 自信息的定义及物理含义？ 熵的定义及物理含义？ 4 、 马尔可夫信源 5、 信道疑义度的概念和物理含义？ 6、 熵功率 7、 信源冗余度 8、 离散信源和连续信源的最大熵定理。 9、 一个随即变量x 的概率密度函数P(x)= x /2,0 ≤X≤2V，则信源的相对熵为1bit 10、同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息是log36bit 11、有一个无记忆信源发出符号A 和B，已知 P(A)=1/4,P(B)=3/4,发出二重符号序列消息的信源，无记忆信源熵 2 H(X )为多少？0.81bit/二重信号 12、二进制通信系统使用符号0 和1，由于存在失真，传输时会产生误码，用符号表示下列事件，u0:一个0 发 出，u1:一个1 发出，v0 :一个0 收到，v1:一个1 收到，则已知收到的符号，被告知发出的符号能得到的信 息量如何表示？H （U/V） 13、证明：由两个消息（符号）组成的联合信源有如下结论： U U