数据熵与信息论基础解析.pptVIP

;已知单符号离散无记忆信源的数学模型;例:某地二月份天气组成的信源为;总括起来，信源熵有三种物理含义：;例：有三个信源X，Y，Z，其概率空间为;例：有一篇千字文章，假定每个字可从一万个汉字中任选，则共有不同的千字文篇数为N=100001000=104000篇，按等概计算，平均每篇千字文可提供的信息量？;2.条件熵;例:已知X，Y∈{0，1}，XY组成的联合概率为：p(00)=p(11)=1/8，p(01)=p(10)=3/8,计算条件熵H(X/Y)。;3.联合熵;1;对称性;信源中包括n个不同离散消息时，信源熵H(X)有;证明：自然对数含有性质;第14页;对于单符号离散信源，当信源呈等概率分布时含有最大熵。;确知信源的不确定度为零。;可加性;6;由上式可证明条件熵不大于等于等于无条件熵，即H(X/Y)≤H(X);二进制通信系统用符号“0”和“1”，因为存在失真，传输时会产生误码，用符号表示以下事件：

u0：一种“0”发出；u1：一种“1”发出；

v0：一种“0”收到；v1：一种“1”收到；

给定以下概率：p(u0)=1/2，p(v0/u0)=3/4，p(v0/u1)=1/2，求

（1）已知发出一种“0”，收到符号后得到的信息量；

（2）已知发出的符号，收到符号后得到的信息量；