第二章随机过程的信息度量和渐近等分性.pptVIP

随机过程的信息度量 引 理 设实数列 { a n , n ? 1, 2,...} 有极 限 lim a n ? a , 则 n ?? 1 lim ? a k ? a . n ?? n k ? 1 n 定义 随机变量序列中，对前 N 个随机变量的联 合熵求平均称为 平均符号熵 . 1 H N ( X ) ? H ( X 1 , X 2 , N , X N ) 21 随机过程的信息度量 如果当 lim H N ( X ) 被称为 N ? ? 时上式极限存在，则 N ?? 熵率 ，或 极限熵 ，记为 1 H ? ( X ) ? lim H N ( X ) ? lim H ( X 1 , X 2 , , X N ) N ?? N ?? N 1 ? inf H ( X 1 , X 2 , , X N ) ( X 是平稳信源 ) N N def 22 随机过程的信息度量 为了便于计算 , 我们给出熵 率的另一个等价形式 . 定理 设 X ? { X 1 , X 2 ,..., X n , ...} 是 平稳信源 , (1) H ? ( X ) ? lim H ( X n | X 1 , X 2 ,..., X n ? 1 ) 存在 ; n ?? def (2) H ? ( X ) ? H ? ( X ) . 23 （ 2 ）对于收敛的实数列， 即如果 a 1 , a 2 , a 3 , 是一个收敛 于 a 的实数列，那么 1 N lim ? a k ? lim a N ? a N ?? N N ?? k ? 1 利用上述结论及熵的链法则可以推出 1 lim H N ( X ) ? lim H ( X 1 , X 2 , , X N ) ? H ? ( X ) N ?? N ?? N 1 N ? lim ? H ( X k | X k ? 1 , , X 1 ) N ?? N k ? 1 1 ? lim ( H ( X 1 ) ? H ( X 2 | X 1 ) ? H ( X 3 | X 1 X 2 ) N ?? N ? N ?? ? H ( X N | X 1 X 2 ? X N ? 1 )) ? lim H ( X N | X 1 X 2 ? X N ? 1 ) ? H ? ( X ) 24 随机过程的信息度量 推论 1 设 X ? { X 1 , X 2 ,..., X n , ...} 是无记忆信源 , 则熵率 H ? ( X ) ? H ( X 1 ) . 推论 2 设 X ? { X 1 , X 2 ,..., X n , ...} 是 k- 阶平稳马氏信源 , 则熵率 H ? ( X ) ? H ( X k ? 1 | X 1 , X 2 ,..., X k ); 特别地 , k ? 1 时 , H ? ( X ) ? H ( X 2 | X 1 ). 25 4. 离散平稳无记忆信源 为了研究离散平稳无记忆信源的极限熵，把信源输出 的符号序列看成是一组一组发出的。 ? 例 1 电报系统中 , 可以认为每 2 个二进制数字组成一组。这 样信源输出的是由 2 个二进制数字组成的一组组符号。这时 可以将它们等效看成一个新的信源，它由四个符号 00 ， 01 ， 10 ， 11 组成，把该信源称为 二进制无记忆信源的二次扩展 。 ? 例 2 如果把每三个二进制数字组成一组，这样长度为 3 的 二进制序列就有 8 种不同的符号，可等效成一个具有 8 个符 号的信源，把它称为 二进制无记忆信源的三次扩展信源 。 26 离散平稳无记忆信源 ? 假定信源输出的是 N 长符号序列，把它看成是一个新 信源，称为 离散平稳无记忆信源的 N 次扩展信源 ，用 N 维离散随机变量序列来表示： X ? X 1 X 2 ? X N ? X N N 次扩展信源的概率空间为 ? 1 ? 2 ? ? i ? ? qN ? ? X ? ? ? ? ? ? p ( ? ) p ( ? ) ? p ( ? ) ? p ( ? ) ? 1 2 i qN ? ? P ( X ) ? ? N ? i 是一个长为 N 的序列， ? a i ? x i 1 x i 2 x i N 27 离散平稳无记忆信源 ? N 次扩展信源的熵 H ( X ) ? H ( X ) ? ? ? p ( ? i )log p ( ? i ) N i ? 1 q N ? 离散平