第6章 连续信源熵、连续信道的平均互信息与信道容量.ppt

第6章 连续信源的熵、连续信道的平均互信息与信道容量 6.3 高斯信道的信道容量 1、高斯信道 加性噪声——信道中噪声与信号相互独立且对信号的作用表现为线性叠加 定义 表示 X Y=X+Z Z 2、高斯信道的噪声微分熵 雅可比行列式 3、高斯信道的信道容量 单符号连续信道给定时，I(X;Y)对于信源概率密度函数p(X) 严格上凸——总能找到一种信源概率密度函数p(X)，使I(X;Y)达到最大 定义 信道给定时平均互信息I(X;Y)的最大值，用C表示 表示 * 第6章 连续信源的熵、连续信道的平均互信息与信道容量 教学内容和要求 理解单符号连续信源及其模型，理解其熵，掌握其微分熵 理解单符号连续信道及其模型，掌握其平均互信息，理解其信道容量 掌握高斯信道的信道容量，香农公式 6.1 单符号连续信源的熵与微分熵 1、单符号连续信源 定义 信源发出的消息为单一符号，这些符号随机取值于一个连续域 表示 连续型随机变量X 随机变量X的取值x为信源发出的消息 例1 例2 概率密度函数p(x)如图所示 2、熵与微分熵 p(x) x b a a+(i-1)Δx a+iΔx x落在第i个区域的概率 根据中值定理 p(x) x b a a+(i-1)Δx a+iΔx ①熵 ②微分熵 信源发出消息x所对应概率密度函数p(x)对数负值的数学期望，用h(X)表示 定义 表示 微分熵不能作为连续信源的信息度量 定义微分熵的目的 微分熵差具有信息度量的意义 连续信源的微分熵与离散信源的熵在形式上统一 均匀信源的微分熵 例3 高斯信源的微分熵 例4 ①不具非负性 例如，当b-a1时，均匀信源的微分熵 ② 严格上凸 3、微分熵的主要性质和最大微分熵定理 微分熵h(X)对于信源概率密度函数p(X)严格上凸 ③平均功率受限下的最大微分熵定理 连续信源一般讨论特定限制条件下的最大微分熵 最常用的限制条件——平均功率受限——均值为0且方差受限 设p(x)是任意概率密度函数，但 6.2 单符号连续信道的平均互信息 1、单符号连续信道 定义 对应于单符号连续信源和单符号连续信宿的信道 表示 信源——连续型随机变量X 信宿——连续型随机变量Y 随机变量X的取值x为信源发出的消息 随机变量Y的取值y为信宿收到的消息 X p(y/x) Y p(y/x)为信道转移概率密度函数 2、噪声熵与噪声微分熵 p(y/xi) y d c c+(j-1)Δy c+jΔy x落在第i个区域基础上信道转移概率密度函数p(y/xi)如图所示 i=1,2, …,N p(y/xi) y d c c+(j-1)Δy c+jΔy y/xi落在第j个区域的信道转移概率 根据中值定理 ①噪声熵 ②噪声微分熵 信道将信源发出消息x转移为信宿收到消息y所对应信道转移概率密度函数p(y/x)对数负值的数学期望，用h(Y/X)表示 定义 表示 3、平均互信息 信宿收到消息y所对应概率密度函数p(y)对数负值的数学期望——信宿的微分熵与噪声微分熵之差，用I(X;Y)表示 定义 表示 微分熵不能作为信息度量，平均互信息——微分熵差，具有信息度量的意义 信宿每收到一条消息所含信源一条消息的平均信息 以信宿为参考，利用信宿的微分熵和信道的噪声微分熵来度量信道中传输的平均信息 以信源为参考，利用信源的微分熵和信道的损失微分熵来度量信道中传输的平均信息 4、平均互信息的主要性质 ① 对称性 ② 非负性 ③ 严格凸性 信道给定时，I(X;Y)对于信源概率密度函数p(X)严格上凸 信源给定时，I(X;Y)对于信道转移概率密度函数p(Y/X)严格下凸 * 第6章 连续信源的熵、连续信道的平均互信息与信道容量