第6讲——连续信源的数学模型及其信息测度.pptVIP

连续信源的数学模型及其测度 第六讲 连续信源的数学模型及其测度 第六讲 性质 连续熵可为负值（连续熵的相对性所致） 可加性 平均互信息的非负性，对称性，信息处理定理 * * 信源的数学模型 信源的信息测度 随机变量、随机序列 简单离散信源：H(X) 离散无记忆信源：H ∞(X) 离散有记忆信源：H∞(X) Review = HL(X)=H(X) 离散信源 5.1 连续信源的数学模型 输出消息取值上连续的信源，如语音，电视信源等，对应的数学工具为连续型随机变量或随机过程。 连续信源输出的状态概率用概率密度来表示。 连续信源的数学模型 5.2 连续信源的 信息测度 考虑一个定义在在[a,b]区间的连续随机变量，如下图 ? ? ?首先把X的取值区间[a,b]分割为n个小区间，小区间宽度为 △=(b-a)/n，根据概率分布与概率密度曲线区间面积的关系 X取值为xi的概率为p(xi).△ ，于是得到离散信源Xn的概 率源空间为： p(x) p(xi) △ a 0 xi