信息论基础-练习与思考1.ppt

海尔集团CEO张瑞敏，在一次中层干部会上提出这样一个问题：“石头怎样才能在水上漂起来？” No Chance Stay For You ! 《孙子兵法》曰：“激水之疾，至于漂石者，势也”－速度决定了石头能否漂起来 早起的鸟儿有虫吃，赶在别人前头，不要停下来，这是竞争者的状态，也是胜者的状态。如果成功有捷径的话，那就是飞，时刻准备飞！ 第二章总结 (1) 单符号离散信源 ① 信息量 自信息、条件自信息概念、性质、计算 互信息、条件互信息概念、性质、计算 互信息的三种表达方式（输入端、输出端、系统总体） ② 熵 信息熵的概念、性质、计算 无条件熵、条件熵（信道疑义度、噪声熵） 平均互信息概念、性质、计算 平均互信息的三种表达方式 平均互信息的凸函数性 I(X;Y)是p(xi)的上凸函数 I(X;Y)是p(yj/xi)的上凸函数 ③ 数据处理定理概念 ④ 理解各种熵之间的关系 (2) 多符号离散信源 ① 离散平稳无记忆信源概念、计算 ② 离散平稳有记忆信源概念、简单计算 条件熵、极限熵概念、简单计算 ③ 马尔可夫信源概念、极限熵计算 ④ 信源冗余度概念、通信效率与可靠性的关系 (3) 连续信源 ① 概念、与离散信源的比较和区别、简单计算 ② 理解最大连续熵定理 ③ 熵功率的概念 (4) 离散无失真信源编码定理 ① 定长编码定理 ② 变长编码定理 作业题1 2.1.设有12枚同值硬币，其中有一枚为假币，且只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现采用天平比较左右两边轻重的方法来测量（因无砝码）。为了在天平上称出哪一枚是假币，试问至少必须称多少次？ 作业题1 解答：在12枚同值硬币中，哪一枚是假币，假币的重量是比真币的重量重还是轻，都是“无知”、“不确定的”。而用天平比较左右两边轻重的测量方法，每测一次，能获得一定的信息量，能消除部分不确定性，则就能确定出其中一枚假币及其重量。因此， 设“在12枚同值硬币中，某一枚为假币”这事件为 ,其出现的概率为 又设“假币的重量比真币的重量是重或轻”这事件为 ，其出现的概率为 事件 的不确定性为 事件 的不确定性为 作业题1 要发现某假币并知其比真币重还是轻所需的信息量就是要消除这两个事件的不确定性。因为这两个事件是统计独立事件，所以需要获得的信息量为 而在天平上称一次能判断出三种情况：重、轻和相等，这事件为 。这三种情况是等概率的。其概率为 。 所以，天平测一次能获得的信息量（即消除的不确定性）为 则至少必须称的次数为 因此至少必须称三次。 作业题2 2.2. 同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“骰子面朝上点数是3和4时”，试问这三种情况分别获得多少信息量？ 作业题2 解答：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。两骰子面朝上点数的状态共有36种，其中任一状态出现都是等概率的，出现概率为1/36。 (1)设“两骰子面朝上点数之和为2”是事件A,点数之和为2的只有一种(1+1)，故有 (2)设“两骰子面朝上点数之和为8”是事件B,点数之和为8的有5种(2+6， 6+2 ， 4+4， 3+5， 5+3) 作业题2 (3)设“骰子面朝上点数是3和4时”是事件C,点数为3和4的状态只有两种，即3、4和4、3 作业题3 2.5.一幅充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 作业题3 解答： (1)任意排列共有 种，则任一排列的自信息量为： (2)应将点数相同花色不同的牌看作一类，则任意抽取的13张牌应在13类种分别进行。其概率为 信息量为： 作业题4 作业题4 作业题5 2.13. (1) 为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5×105个象素和10个不同亮度电平，求传递此图像所需的信息率（比特/秒）。并设每秒要传送30帧图像，所有象素是独立变化的，且所有亮度电平等概率出现？ (2) 设某彩色电视系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输该彩色系统的信息率要比黑白系统的信息率约大2.5倍？ 作业题5 解答. (1)每个象素亮度信源的概率空间为 每个象素亮度含有的信息量 每帧图像信源就是离散亮度信源的无记忆N次扩展信源，可得每帧图像含有的信息量为 每秒30帧，则传递此图像所需的信息率