ch熵和互信息.pptVIP

信息理论与编码 第2章 熵和互信息 许海霞 xu_haixia@163.com 重 点 事件的自信息 2个事件间的互信息 条件互信息 联合互信息 熵 事件的自信息 2个事件间的互信息 例 X=0男性 X=1女性；Y=0抽烟 Y=1不抽烟 条件互信息 联合互信息 重点 熵的定义及性质 平均互信息 熵和平均互信息之间的关系（图） 随机变量的平均自信息——熵 例 熵的定义 例 条件熵 X和Y统计独立时 联合熵 联合熵的链法则 例：设箱中有m个黑球，n-m0个白球，现从箱子中做不放回取球，用X表示取出第一个球的颜色，Y表示取出第二个球的颜色。 求 熵的性质 对称性 非负性 确定性 可扩展性 可加性 极值性 严格上凸性 随机变量间的平均互信息 互信息的性质 非负性 对称性 例 已知平均每100人中有2人患有某种病，为了查明病情，必须进行某项指标的化验。这种化验的结果对于有病的人总是阳性的，对于健康人来说有一半可能为阳性、一半可能为阴性。试问这项化验对于查明病情提供多少信息？ 例 有两个硬币，一个是正常硬币，另一个的两面都是面值。现随机抽取一个硬币，抛掷2次。问出现面值的次数对于硬币的识别提供多少信息？ 重点 数据处理定理 连续随机变量的互信息和微分熵 平稳离散信源的熵 概率分布的散度（相对熵） 平均互信息的散度表示 关于疑义度的Fano不等式 两个在相同字符表 中取值的随机变量 和 满足 其中 马尔可夫链 记为 特别地，考虑三个随机变量的马尔可夫链 数据处理定理：如果有马尔可夫链 则 如果有马尔可夫链 ，则 定理：条件分布 给定时，互信息 是输入分布 的上凸函数。 定理：当随机变量X的概率分布给定时，平均互信息 是条件概率分布 的下凸函数。 连续随机变量的互信息 条件互信息 联合互信息 连续随机变量互信息的性质 若 ，则 连续随机变量的熵----微分熵 微分熵的极大化 峰值受限：设 ，即 ，这时 微分熵 ，等号在均匀分布时达到。 平均功率受限：在方差 一定的条件下，当X 服从正态分布时，微分熵最大，即 平稳离散信源的熵 随机序列平稳的概念 平稳信源的熵 离散平稳信源熵的性质 随N的增大而单调不增。 也随N的增大而单调不增。 熵的相对率 冗余度 m阶马尔可夫序列：当前符号的发生仅与前面m个已发生的符号有关，而与以前的历史无关。即 * 0.36 0.54 1 0.04 0.06 0 1 0 0.36 0 1 0.04 0.6 0 1 0