电子科大信息论与编码第3章_离散信源及信息熵.pdfVIP

第3章 离散信源及信息熵 信源消息是多种多样的：如计算机网络节点 输出的是二进制数据，模拟电视输出的是连 续视频图像和伴音；又如抽牌，可以抽出后 放回去再抽，也可以抽出后不放回去再抽。 信源的分类方法可以很多，一方面将信源分 为离散信源和连续信源(continuous source)， 另一方面 将信源分为无记忆信源(memoryless source) 和有记忆信源(memory source)。 本章主要讨论的问题是：从一个离散信源 的整体出发，它的信息量应该如何度量？ 一、单符号离散信源的信息熵 从最简单的单符号离散信源开始讨论： 1、单符号离散信源的数学模型  X   x1 x2  xn      P(X) p(x ) p(x )  p(x )  1 2 n 