条件熵联合熵及熵的性质.pptVIP

熵、条件熵、联合熵关系第5页,共35页，星期六，2024年，5月一个二进信源X发出符号集{0,1},经过离散无记忆信道传输,信道输出用Y表示.由于信道中存在噪声,接收端除收到0和1的符号外,还有不确定符号“2”已知X的先验概率:p(x0)=2/3,p(x1)=1/3,符号转移概率：p(y0|x0)=3/4,p(y2|x0)=1/4p(y1|x1)=1/2,p(y2|x1)=1/2，XY010123/41/21/21/4信源熵H(X)例题第6页,共35页，星期六，2024年，5月得联合概率：p(x0y0)=p(x0)p(y0|x0)=2/3×3/4=1/2p(x0y1)=p(x0)p(y1|x0)=0p(x0y2)=p(x0)p(y2|x0)=2/3×1/4=1/6p(x1y0)=p(x1)p(y0|x1)=0p(x1y1)=p(x1)p(y1|x1)=1/3×1/2=1/6p(x1y2)=p(x1)p(y2|x1)=1/3×1/2=1/6由例题条件熵H(Y|X)第7页,共35页，星期六，2024年，5月联合熵H(XY)H(XY)＝H(X)＋H(Y|X)=1.8bit/符号得p(y0)=∑p(xiy0)=p(x0y0)+p(x1y0)=1/2+0=1/2p(y1)=∑p(xiy1)=p(x0y1)+p(x1y1)=0+1/6=1/6p(y2)=∑p(xiy2)=p(x0y2)+p(x1y2)=1/6+1/6=1/3由例题信源输出熵H(Y)第8页,共35页，星期六，2024年，5月由得同理p(x0|y1)=0；p(x1|y1)=1p(x0|y2)=1/2；p(x1|y2)=1/2条件熵H(X|Y)例题或H(X|Y)=H(XY)-H(Y)=1.8-1047=0.33bit/符号第9页,共35页，星期六，2024年，5月2.1.4熵的基本性质第10页,共35页，星期六，2024年，5月熵的基本性质概率矢量第11页,共35页，星期六，2024年，5月非负性非负性H(X)≥0由于0≤pk≤1,所以logpk≤0，-logpk≥0，则总有H(X)≥0。第12页,共35页，星期六，2024年，5月对称性根据加法交换律可以证明，当变量交换顺序时熵函数的值不变,即信源的熵只与概率空间的总体结构有关，而与各概率分量对应的状态顺序无关。对称性第13页,共35页，星期六，2024年，5月确定性当信源X的信源空间[X，P]中，任一概率分量等于1，根据完备空间特性，其它概率分量必为0，这时信源为一个确知信源，其熵为0。确定性第14页,共35页，星期六，2024年，5月这说明信源空间中增加某些概率很小的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近于0，在信源熵中占极小的比重，，使信源熵保持不变。扩展性扩展性第15页,共35页，星期六，2024年，5月可加性证明:可加性第16页,共35页，星期六，2024年，5月极值性——最大离散熵定理信源X中包含K个不同离散消息时，信源熵，当且仅当X中各个消息出现的概率全相等时，上式取等号。表明等概信源的不确定性最大，具有最大熵，为极值性第17页,共35页，星期六，2024年，5月定理：1.H(X/Y)≤H(X)（条件熵不大于无条件熵）2.H(XY)≤H(X)+H(Y)证明：基本定理第18页,共35页，星期六，2024年，5月基本定理推广H(X/Y)≤H(X)H(XY)≤H(X)+H(Y)第19页,共35页，星期六，2024年，5月2.1.5离散序列信源的熵第20页,共35页，星期六，2024年，5月设信源输出的随机序列为X=(X1X2…Xl…XL)序列中的变量Xl∈{x