ch2熵和互信息.pptVIP

信息理论与编码 第2章 熵和互信息 许海霞 xu_haixia@163.com 重 点 事件的自信息 2个事件间的互信息 条件互信息 联合互信息 熵 事件的自信息 2个事件间的互信息 例 X=0男性 X=1女性；Y=0抽烟 Y=1不抽烟 条件互信息 联合互信息 重点 熵的定义及性质 平均互信息 熵和平均互信息之间的关系（图） 随机变量的平均自信息——熵 例 熵的定义 例 条件熵 X和Y统计独立时 联合熵 联合熵的链法则 例：设箱中有m个黑球，n-m0个白球，现从箱子中做不放回取球，用X表示取出第一个球的颜色，Y表示取出第二个球的颜色。 求 熵的性质 对称性 非负性 确定性 可扩展性 可加性 极值性 严格上凸性 随机变量间的平均互信息 互信息的性质 非负性 对称性 例 已知平均每100人中有2人患有某种病，为了查明病情，必须进行某项指标的化验。这种化验的结果对于有病的人总是阳性的，对于健康人来说有一半可能为阳性、一半可能为阴性。试问这项化验对于查明病情提供多少信息？ 例 有两个硬币，一个是正常硬币，另一个的两面都是面值。现随机抽取一个硬币，抛掷2次。问出现面值的次数对于硬币的识别提供多少信息？ 重点 数据处理定理 连续随机变量的互信息和微分熵 平稳离散信源的熵 概率分布的散度（相对熵） 平均互信息的散度