信息论讲义(2讲).pdf

信息论 信息论 第2讲 北京航空航天大学 201教研室 陈 杰 buaa201gcss@ PWD:buaaf615 第一章 小 结 1. 信息论： 经典信息论 工程信息论 广义信息论 2. 信息的概念：通俗信息概念 广义信息概念 概率信息概念 3. 信息：抽象概念，研究对象，含于消息 消息：比较具体，非物理量，信息的载荷者 信号：最具体，表示消息的物理量，可测量、 可显示、可描述，消息的载荷者 4. 通信系统的模型： 2 第一章 小 结（续） 通 信 系 统 干扰源 窃听者 模 型 3 2.5 连续随机变量的互信息和相对熵 2.5.1 连续随机变量的互信息 ⎯ 定义 ⎯ 熵的性质 2.5.2 连续随机变量的相对熵 ⎯ 连续随机变量的自信息量 ⎯ 相对熵、联合熵、条件熵 ⎯ 性质 4 2.5.1 连续随机变量的互信息 • 连续随机变量的互信息 连续随机变量集XY ，事件x, p (x) ≥0和事 件y , p (y ) ≥0 之间的互信息定义为 def p (x y )Δx I (x; y ) lim log Δ →0 x p (x ) x Δ Δy →0 p (x y )p (y )ΔxΔy lim log Δx →0 ( ) ( ) p x Δxp y Δy Δy →0 p (xy ) log ( ) ( ) p x p y