第8章微分熵与平均互信息.pptVIP

第8章 微分熵与平均互信息;8.1 微分熵;随机变量X的取值x为信源发出的消息;例1;概率密度函数p(x)如图所示;x落在第i个区域的概率;①熵;②微分熵;微分熵不能作为连续信源的信息度量;均匀信源的微分熵;高斯信源的微分熵;第8章微分熵与平均互信息;①不具有非负性;③平均功率受限下的最大微分熵定理;设p(x)是任意概率密度函数，但;第8章微分熵与平均互信息;第8章微分熵与平均互信息;8.2 联合微分熵与条件微分熵;第8章微分熵与平均互信息;例1;2、联合微分熵与条件微分熵;条件微分熵——消息x1x2…xn所对应条件概率密度函数p(xk/x1…xk-1)对数负值的数学期望，用h(Xk/X1…Xk-1)表示 其中1k≤n;第8章微分熵与平均互信息;3、微分熵的链式法则;第8章微分熵与平均互信息;4、联合微分熵的界;8.3 平均互信息;随机变量X的取值x为信源发出的消息;p(y/x)为信道转移概率密度函数;2、噪声熵与噪声微分熵;p(y/xi);①噪声熵;第8章微分熵与平均互信息;②噪声微分熵;3、平均互信息;第8章微分熵与平均互信息;微分熵不能作为信息度量，平均互信息——微分熵差，具有信息度量的意义;4、平均互信息的主要性质;第8章微分熵与平均互信息;③ 严格凸性;8.4 联合平均互信息与条件平均互信息;第8章微分熵与平均互信息;X1X2…Xn;2、联合平均互信息与条件平均互信息;表