24连续信源熵.pptVIP

连续熵实例 例题 数学期望为m，方差为 的正态随机变量的熵。 连续熵可为负值（连续熵的相对性所致） 可加性 平均互信息的非负性，对称性，信息处理定理 随机变量函数的熵  随机变量函数的熵 平均功率受限的最大熵定理 若连续随机变量X的方差为一定，则X服从正态分布时的相对熵最大，即 平均功率受限的最大熵定理 * 信源的数学模型 信源的信息测度 随机变量、随机序列 简单离散信源：H(X) 离散无记忆信源：H ∞(X) 离散有记忆信源：H∞(X) = HL(X)=H(X) 离散信源 ≤ HL(X) ≤ H(X) 2.5 连续信源 输出消息取值上连续的信源，如语音，电视信源等，对应的数学工具为连续型随机变量或随机过程。 连续信源输出的状态概率用概率密度来表示。 连续信源的数学模型 利用离散信源熵的概念来定义连续信源熵 ?? 把X的取值区间[a,b]分割为n个小区间，小区间宽度为 △=(b-a)/n X取值为xi的概率为： 离散信源Xn的信源空间为： Pi=p(xi).△ 2.5.1 连续信源的熵 [Xn,P]: Xn: x1 x2 … xn P(Xn): p(x1)△ p(x2)△ … p(xn)△ 其中 按离散信源熵定义 当△→0，n→∞时，Xn接近于连续随机变量X，这时可得连续信