第4章波形信源和波形信道(ok)浅析.pptVIP

第4章 波形信源和波形信道;4.1 连续信源及波形信源的信息测度;2、连续信源熵 基本连续信源的输出是取值连续的单个随机变量， 可用变量的概率密度函数 来描述。此时，连续信源 的数学模型为： 其中，R是全实数集，是变量X的取值范围。 ; 一般情况下，上式的第一项是定值，而当 时，第二项是趋于无限大的常数。所以避开第二项，定义连续信源的熵为：; 由上式可知，所定义的连续信源的熵并不是 实际信源输出的绝对熵，连续信源的绝对熵应该 还要加上一项无限大的常数项。 这一点可以这样理解：因为连续信源的可能取值数是 无限多个，若设取值是等概分布，那么信源的不确定 性为无限大。当确知信源输出为某值后，所获得的信 息量也将为无限大。; 同理，可以定义两个连续变量X、Y的联合差熵和条件差熵，即; 它们之间???有与离散信源一样的相互关系，并且可以得到有信息特征的互信息： 这样定义的熵虽然形式上和离散信源的熵相似，但在概念上不能把它作为信息熵来理解。连续信源的差熵值具有熵的部分含义和性质，而丧失了某些重要的特性。;3、各种差熵之间的关系 (1)h(X2)≥h(x2|x1) (2)h(X1X2)=h(X2X1)=h(X1)+h(X2|x1)=h(X2)+h(X