002 信息与编码 第2章 信源与信息熵.ppt

信源与信息熵 第二章 殊烃褐堡居疮售淬铲鼠铂灸卷稗奏董咕眺惕痉霞瞬玻铆营插筑弦搅墒牌策002 信息与编码 第2章 信源与信息熵002 信息与编码 第2章 信源与信息熵 2 2.1 信源的分类及数学模型 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度 内容 奎章圆谆侨磋敛祭剪误扇贩懦敲调伺耿歇串光搓涤英钞奔催刹胞厢秀芹掇002 信息与编码 第2章 信源与信息熵002 信息与编码 第2章 信源与信息熵 3 离散 信源 { 离散无记忆信源 离散有记忆信源 { { 发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 信源的分类 离散信源 指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。 啼湃砍贡骚务卉窖此斤希韦梆既家聪认斜棉物产罢涟睡浇钱焕意窒烙禹椰002 信息与编码 第2章 信源与信息熵002 信息与编码 第2章 信源与信息熵 4 4 离散无记忆平稳信源 离散平稳信源的特例，信源发出的符号都相互统计独立，即各随机变量Xi (i＝1,2,…,N)之间统计独立。 性质： 独立－P(X)= P(X1, X2, …,XN)= P1(X1) · P2(X2)· · · PN(XN) 平稳－P1(Xi) = P2(Xi)=· ·