电子科大信息论与编码第7章 连续信源与连续信道.pdf

第7章 连续信源与连续信道 从连续信源的整体出发，它的信息量应 该如何度量？ 从整体的角度，如何度量在连续信道中 流通的信息量？该信息量能达到的最大 值是多少？ 一、连续信源及其相对熵 1、单变量连续信源的数学模型 X a ≤x ≤b ⎡ ⎤ ⎧ ⎫ ⎢ ⎥ ⎨ ⎬ ⎣P(X)⎦ ⎩ p(x) ⎭ b 并满足∫a p(x)dx 1 式中，p(x) 为随机变量的概率密度函数。 2、单变量连续信源的熵 假定概率密度函数p(x)如图所示 p(x) p(x ) i b −a Δ n x a i b x a+(i-1)△ a+i△ b 随机变量落在第i个小区间的概率为 a+iΔ P(a +(i −1)Δ≤X a +iΔ) ∫a+(i −1)Δp(x)dx 根据中值定理，有 a i + Δ p(x)dx p(x )Δ ∫a (i 1) i + − Δ (1)连续信源的绝对熵 n H(X) lim {− p(x )Δlog[p(x )Δ]} ∑ i i n→∞ i 1 Δ→0 n n −lim ∑p(x )Δlog p(x ) −lim ∑p(x )Δlog Δ i i i n→∞ n→∞ i 1 i 1 Δ→0 Δ→0 b b − p(x) log p(x)dx −lim log Δ p(x)dx ∫a n→∞ ∫a Δ→0 b − p(x) log p(x)dx −lim log Δ∫ a n→∞ Δ→0 (2)连续信源的相对熵 定义连续信源