第8章 微分熵与平均互信.pptVIP

第8章 微分熵与平均互信息 ①噪声熵 ②噪声微分熵 信源消息x信宿消息y所对应信道转移概率密度函数p(y/x)对数负值的数学期望，用h(Y/X)表示 定义 表示 3、平均互信息 信宿消息y所对应概率密度函数p(y)与信源消息x信宿消息y所对应信道转移概率密度函数p(y/x)比值对数负值的数学期望，用I(X;Y)表示 定义 表示 微分熵不能作为信息度量，平均互信息——微分熵差，具有信息度量的意义 以信宿为参考，利用信宿的微分熵和信道的噪声微分熵来度量信道中传输的平均信息量 以信源为参考，利用信源的微分熵和信道的损失微分熵来度量信道中传输的平均信息量 * 微分熵与平均互信息 信息如何度量？ 8.1 微分熵 1、单符号连续信源 定义 信源发出的消息为单一符号，这些符号随机取值于一个连续域 表示 连续型随机变量X 随机变量X的取值x为信源发出的消息 例1 例2 概率密度函数p(x)如图所示 2、熵与微分熵 p(x) x b a a+(i-1)Δx a+iΔx x落在第i个区域的概率 根据中值定理 p(x) x b a a+(i-1)Δx a+iΔx ①熵 ②微分熵 消息x所对应概率密度函数p(x)对数负值的数学期望，用h(X)表示 定义 表示 微分熵不能作为连续信源的信息度量 定义微分熵的目的 微分熵差具有信息度量的意义 连续信源的微分熵与离散信源的熵在形式上统一 均匀信源的微分熵 例3