互信息.pptVIP

* 马尔可夫链 马氏链模型描述一类重要的随机动态过程的模型：?系统在每个时期所处的状态是随机的；?从一时期到下时期的状态按一定概率转移；?下时期状态只取决于本时期状态和转移概率已知现在，将来与过去无关（无后效性）； 马氏链的两个重要类型 1. 正则链~ 从任一状态出发经有限次转移能以正概率到达另外任一状态； 2. 吸收链~ 存在吸收状态（一旦到达就不会离开的状态）,且从任一非吸收状态出发经有限次转移能以正概率到达吸收状态． * 如果随机变量 与 关于 条件独立，即 称 为马尔可夫链； 齐次马尔可夫链: 如果转移概率与所处的状态 无关,即 马尔可夫链 * 定理 若 是一个马尔可夫链，则 若是齐次马尔可夫链，则 马尔可夫链 * 数据处理定理 : 当消息通过多级处理器时，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 （X-Y-Z构成马氏链） 第一级处理器 第二级处理器 X Y Z 输入 图示 级联处理器 平均互信息（应用） * 数据处理定理 I(X;Z) ≤ I(X;Y)