信源的信息熵是概率分布Px.pptVIP

  • 6
  • 0
  • 约2.21千字
  • 约 14页
  • 2019-06-18 发布于天津
  • 举报
电子信息工程学院电子信息工程学院信息论电子信息工程学院信息论电子信息工程学院信息论电子信息工程学院信息论电子信息工程学院信息论电子信息工程学院信息论电子信息工程学院信息论电子信息工程学院信息论电子信息工程学院信息论电子信息工程学院信息论电子信息工程学院信息论电子信息工程学院信息论电子信息工程学院信息论电子信息工程学院设离散信源的概率空间为信息熵是信源概率空间的一种特殊矩函数这个函数的大小与信源的消息数及其概率分布有关当信源消息集的个数给定时信源的信息熵是概率分布的函数概率分布用概率矢量来表示信息

电子信息工程学院 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 设离散信源X的概率空间为: 信息熵是信源概率空间的一种特殊矩函数,这个函数的大小与信源的消息数及其概率分布有关。 当信源消息集的个数q 给定时,信源的信息熵是概率分布P(x)的函数,概率分布用概率矢量P来表示: 2.3 信息熵的基本性质 这样,信息熵 是概率矢量P或它的分量 的 元函数(各分量 满足 ,所以独立变量只有 元)。一般式可写为: 是概率矢量P的函数,称为熵函数 2.3 信息熵的基本性质 熵函数也是一种特殊的函数,它的函数形式为: 它具有下列一些性质。 (1)对称性:当变量 任意变换时,熵函数的值不变,即: 2.3 信息熵的基本性质 该性质表明:熵只与随机变量的总体结构有关,即与信源的总体的统计特性有关。 差别:信源X与Y同一消息的概率不同,X与Z的具体信息不同,但它们的信息熵相同,表示三个信

文档评论(0)

1亿VIP精品文档

相关文档