信息论与编码InformationTheoryCoding.pptVIP

信息论与编码Information Theory Coding 第二章????? 信源及信源熵 1）信源：信源是发送消息的源；是由含有信息的符 号消息组成的集合。 2）信息量：定义单个符号消息信息量的大小，单个 符号消息的不确定度； 3）信源熵：信源（符号消息的集合）平均信息量的 大小，信源的平均不确定度； 2.1 信源的描述和分类 2.1.1 信源的分类 1）连续信源：语音、图象、图形 2）离散信源：数字、文字、数据 单个符号信源：信源每次只发出一个符号表示一个消息。 符号序列信源：信源每次发出一组两个或两个以上的符号序列表示一个消息。 无记忆信源：所发出的各个符号或符号序列之间无统计（概率）关联性。 有记忆信源：所发出的各个符号或符号序列之间有统计（概率）关联性。 2.1.2 离散信源的分类 发出单个符号的无记忆信源 离 离散无记忆信源 发出符号序列的无记忆信源 散 信 发出符号序列的有记忆信源 源 离散有记忆信源 发出符号序列的马尔可夫信源 例: