信息论基础-练习与思考1.pptVIP

海尔集团CEO张瑞敏，在一次中层干部会上提出这样一个问题：“石头怎样才能在水上漂起来？” No Chance Stay For You ! 《孙子兵法》曰：“激水之疾，至于漂石者，势也”－速度决定了石头能否漂起来 早起的鸟儿有虫吃，赶在别人前头，不要停下来，这是竞争者的状态，也是胜者的状态。如果成功有捷径的话，那就是飞，时刻准备飞！ 第二章总结 (1) 单符号离散信源 ① 信息量 自信息、条件自信息概念、性质、计算 互信息、条件互信息概念、性质、计算 互信息的三种表达方式（输入端、输出端、系统总体） ② 熵 信息熵的概念、性质、计算 无条件熵、条件熵（信道疑义度、噪声熵） 平均互信息概念、性质、计算 平均互信息的三种表达方式 平均互信息的凸函数性 I(X;Y)是p(xi)的上凸函数 I(X;Y)是p(yj/xi)的上凸函数 ③ 数据处理定理概念 ④ 理解各种熵之间的关系 (2) 多符号离散信源 ① 离散平稳无记忆信源概念、计算 ② 离散平稳有记忆信源概念、简单计算 条件熵、极限熵概念、简单计算 ③ 马尔可夫信源概念、极限熵计算 ④ 信源冗余度概念、通信效率与可靠性的关系 (3) 连续信源 ① 概念、与离散信源的比较和区别、简单计算 ② 理解最大连续熵定理 ③ 熵功率的概念 (4) 离散无失真信源编码定理 ① 定长编码定理 ② 变长编码定