第6讲——连续信源的数学模型和其信息测度.pdfVIP

第六讲 第六讲 连续信源的数学模型 连续信源的数学模型 连续信源的数学模型 及其测度 及其测度 及其测度 Review 离散信源 信源的数学模型 – 随机变量、随机序列 信源的信息测度 – 简单离散信源：H(X) – 离散无记忆信源：H ∞(X) = H (X)=H(X) L – 离散有记忆信源：H∞(X) 第六讲 第六讲 连续信源的数学模型 连续信源的数学模型 连续信源的数学模型 及其测度 及其测度 及其测度 5.1 连续信源的数学 5.1 连续信源的数学 模型 模型 连续信源的数学模型 输出消息取值上连续的信源，如语音，电视信源等，对 应的数学工具为连续型随机变量或随机过程。 连续信源输出的状态概率用概率密度来表示。 X (a ,b ) ⎡ ⎤ ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ p (x ) p (x ) ⎣ ⎦ ⎣ ⎦ b 并满足 p x dx ∫a ( ) 1 5.2 连续信源的 5.2 连续信源的 信息测度 信息测度 连续熵 考虑一个定义在在[a,b] 区间的连续随机变量，如下图 p(x) p(xi) △ a 0 xi b x 首先把X 的取值区间[a,b]分割为n个小区间，小区间宽度为 △=(b-a)/n ，根据概率分布与概率密度曲线区间面积的关系 X取值为x 的概率为p (x ).△ ，于是得到离散信源Xn 的概 i i 率源空间为： x x … x 1 2 n p(x )△ p(x )△ … p(x )△ 1 2 n