波形信源和波形信道.pptVIP

信息论 电子信息工程学院 2 连续信源和波形信源的信息测度 连续信源的差熵 先看单个变量的基本连续信源的信息测度。基本连续信源的输出是取值连续的单个随机变量。可用变量的概率密度，变量间的条件概率密度和联合概率密度来描述。 变量的一维概率密度函数为 一维概率分布函数为 条件概率密度函数为 联合概率密度函数为 联合概率密度函数和条件概率密度函数之间的关系为 基本连续信源的数学模型为 其中R是全实数集。 把连续变量的取值区间[a,b]分割成n个小区间，各小区间设为等宽 2 连续信源和波形信源的信息测度 连续信源的差熵 这样的话： 舍弃无穷大的第二项，可得： 定义连续信源的熵为： 2 连续信源和波形信源的信息测度 同理可以定义两个连续变量X、Y的联合熵和条件熵 2 连续信源和波形信源的信息测度 连续信源的差熵只具有熵的部分含义和性质 （1）可加性 当且仅当 X 与 Y 统计独立时，不等式取等号。 所以可得 （2）凸状性和极值性 差熵 h(X) 是输入概率密度函数 p(x) 的П型凸函数，对于某一概率密度函数可以得到差熵最大。 （3）差熵可为负值 2 连续信源和波形信源的信息测度 N维连续平稳信源和波形信源的差熵 实际信源的输入和输出都是平稳随机过程，其 {x(t)}和{