第3讲离散信源的熵和互信息2014.pptVIP

第三讲;;平均自信息量，信源熵（信息熵）;熵、条件熵、联合熵关系;熵的基本性质; 非负性 H(X)≥0 ;2个基本不等式： 不等式）： 当且仅当x=1时等号成立。 2. 二个任意概率矢量 ;设有4枚同值硬币，其中1枚硬币可能是假币，如是假币，其重量与真币不同。现在给你一部没有砝码的天平和1枚真币，问题：回答有无假币？如有假币要求找出那枚假币，并指出那枚假币比真币是轻还是重？试用信息量观点分析最少需称多少次保证一定能找出那枚假币，并给出具体称法。（2次？）;具体称法：1，2，3，4，5（真） (1,2),(3,5),4 1+2,3+5平衡，5,4 1+2,3+5不平衡，假设1+23+5比较1,2 具体称法：1,2,3,4,5,6,7,8,9,10,11,12,13,14（真） 1-4，5-9，10-14 5-9，10-14平衡，余下1-4，2次 5-9，10-14不平衡，假设5-9 10-14; 分3组，(5,6,11),(10,7,8),(9,12,13); 比较(5,6,11),(10,7,8)，即可判断是出现在（5，6,10）， （11,7，8）还是（9,12,13）组。 再称1次就可找出那枚假币并给出是轻还是重？;第三讲;设信源输出的随机序列为 序列中的变量Xl∈{x1,x2,… xN};离散信源的序列熵 ;例:有一个无记忆信源随机变量X∈(0,1),等概率分布,若以单个符号出现为一事件,则此时的信源熵:;; 由 p(ai,aj) = p(ai) p(aj| ai) 计算得联合概率p(ai aj)如表; 平均符号熵 ;若信源输出一个L长序列，则信源的序列熵为;（1）条件熵H (XL|X1X2···XL-1) 随L的增加非递增;对于平稳信源;（1）条件熵H (XL|X1X2···XL-1) 随L的增加非递增;H L(X)≥ H (XL|X1X2···XL-1);（1）条件熵H (XL|X1X2···XL-1) 随L的增加非递增;HL(X)随L非递增 ;（1）条件熵H (XL|X1X2···XL-1)随L的增加非递增;冗余度;小结：;离散信源的互信息;设有两个随机事件X和Y ，X取值于信源发出的离散消息集合, Y取值于信宿收到的离散符号集合;定义：X和Y之间的平均互信息量定义为; 仿照自信息量，我们也可以定义非平均互信息量 ;;;对称性： 非负性： 与熵的关系： 极值性： ;;基本关系式;;系统1;[例] 设二元对称信道(BSC)的信源空间为：X={0,1}; [Q(X)]={ω, 1-ω};求 I(X;Y) ;; 根据这个关系，当p值一定，即固定信道，可知I(X,Y)是ω的上凸函数，其曲线如图： ? I(X,Y) 1-H(p)?? ? 0 1/2 1 ω ? 从图中可知，当BSC信道的信道矩阵固定后，若输入符号集X的概率分布不同，在接收端平均每个符号获得的信息量就不同。 只有当输入为等概分布时即，p(0)=p(1)=1/2时，接收端的信息量才为最大值1-H(p)。;基本关系式;证明：;系统1;编码器;作业