14-信息论和编码-总复习.ppt

信息 “本体论”层次定义：信息是该事物运动的状态和状态改变的方式。 认识论层次的信息是同时考虑语法信息、语义信息和语用信息的全信息。 全信息：同时考虑外在形式/语法信息、内在含义/语义信息、效用价值/语用信息，称为全信息。 语法信息：事物运动状态和状态改变的方式； 语义信息：事物运动状态和方式的具体含义； 语用信息：事物运动状态和方式及其含义对观察者的效用。 研究信息论的目的：主要是提高信息系统的可靠性、有效性和安全性以便达到系统最优化。 单符号离散信源 自信息量 用概率测度定义信息量 设离散信源 X，其概率空间为 如果知道事件 xi 已发生，则该事件所含有的自信息定义为 当事件 xi 发生以前：表示事件 xi 发生的不确定性。 当事件 xi 发生以后：表示事件 xi 所含有（或所提供）的信息量 联合自信息量 当 X 和 Y 相互独立时，p(xiyj)=p(xi)p(yj) 条件自信息量：已知 yj 的条件下 xi 仍然存在的不确定度。 自信息量、条件自信息量和联合自信息量之间的关系 互信息量： yj 对 xi 的互信息量定义为的后验概率与先验概率比值的对数。 观察者站在输出端：两个不确定度之差是不确定度被消除的部分，即等于自信息量减去条件自信息量。 观察者站在输入端： 观察者得知输入端发出 xi 前、后对输出端出现 yj 的不确定