第二章 信源及其信息量 李伟.pptVIP

[分类] 单变量信源——无记忆信源 (与单符号离散源相似) 随机过程中取一个时间t1 多变量信源——有记忆信源 (与多符号离散源相似) 随机过程中取多个时间ti [说明] 对单变量信源，可研究：数学期望、方差 对两变量信源，可研究：自相关函数 一、 单变量连续信源数学模型 (R——连续变量X的取值范围) 二、 连续信源的熵 由法二得 ： (上式中第2项为∞) 即连续信源熵值无穷大(取值可能性无限多) 舍第2项得定义(相对熵) [两个连续变量] 联合熵 条件熵 2.3.2 几种特殊连续信源的熵和最大熵定理 一、均匀分布信源： Hc(X)= log2(b-a) [结论] ① 熵值只与均匀分布间隔(b-a)有关， ② 若 b-a 1，则Hc(X)为负 二、 高斯分布信源