信息论2010练习答案..docVIP

熵 是香农信息论最基本最重要的概念。 单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍 。 对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 若一离散无记忆信源的信源熵H（X）等于4.2，对信源进行等长的无失真二进制编码，则编码长度至少为 5 。 同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和6同时出现”这件事的自信息量是 log218（1+2 log23）。 一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为 。 具有一一对应关系的无噪信道的信道容量C= log2n 。 信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是 信息率小于信道容量 。 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就 越大 ，获得的信息量就越小 平均失真度的下限取0的条件是失真矩阵的 每一行至少有一个零元素 。 率失真函数对允许的平均失真度是 单调递减和连续的 。 对于离散无记忆信源的率失真函数的最大值是 log2n 。 信源编码的目的是： 提高通信的有效性 。 对具有8个消息的单符号离散无记忆信源进行4