信息论课件 2章 离散信源及其信息测度.pdfVIP

第2章 离散信源及其信息测度 哈尔滨工业大学(威海) 计算机学院信息安全教研室 刘杨 第2章 离散信源及其信息测度 1 信源的数学模型及分类 2 离散信源的信息熵及其性质 2.1 自信息 2.2 单符号离散信源的信息熵 2.3 离散平稳信源及其信息熵 2.4 马尔可夫信源及其信息熵 3 随机波形信源 4 信源的冗余度 2 1 信源的数学模型及分类 • 单符号信源: 输出是单个符号(代码)的消息 – 单符号离散信源 – 单符号连续信源 • 随机序列信源: 信源输出的消息由一系列符号序列所组成, 可用N维随机向量 X ＝(X ,X ,…,X )描述 1 2 N – 平稳信源 • 离散平稳信源 无记忆信源 • 连续平稳信源