Information Theory Coding信息论与编码（英文版）梁建武电子教案 Ch2例题与证明一.docVIP

推导求条件熵为什么要用联合概率？ 先取一个，在已知条件下，X的条件熵为： 上式为仅知某一个时X的条件熵，它随着的变化而变化，仍然是一个随机变量。已知所有的时X仍然存在的不确定度，应该是进一步把在Y集合上取数学期望， 条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存在的不确定度。这是由于传输失真造成的； 称为信道疑义度，也称损失熵； 条件熵为噪声熵。 [例2.1.4 条件熵] 已知X，Y,XY构成的联合概率为：p(00)=p(11)=1/8,p(01)=p(10)=3/8,计算条件熵H(X/Y)。 解： 根据条件熵公式： 首先求，有 最大离散熵定理 证明：先证明一个常用不等式：ln xx-1 用图形表示为： 令f(x)=ln x –(x-1) ,则 , 可见当x=1时，f(x)=0,它是f(x)的极值。且 ，故此极值为极大值。 所以有： f(x) f(1)=0 ，当且仅当x=1时取等号。 这时 f(x)=ln x-(x-1) 0 = lng x≤(x-1) 证法一： 令，利用 证法二：现令 ，则有 ， 两边取统计平均值 求得： 结论：等概率分布时熵最大，不确定性最大。故这一定理又被称为离散信源最大熵定理。 可加性的证明 条件熵不大于信源熵（无条件熵）的证明 证明： 上凸性的证明 熵函数H(U)为的上凸函数。在证明本定理以前先介绍凸函数的概念。 先介绍凸集合： 若集合（n维欧氏空间），有，且对任意实数：01，有，则称为C为凸集合。其涵义为：凸集合中任意的两元素的线性组合仍属于原凸集合。 显然，n维线性空间为一凸集合。概率矢量亦为一凸集。 任意凸集合的交（）仍为凸集，但是其并与补并非凸集。 凸函数：又称下凸 函数， 设f(p)是由某个凸集C（）上定义的实函数，若对任意实数和任意矢量，满足下列不等式： 则称为下凸函数。其含义为：凸集合中函数的线性组合不小于凸集合中线性组合的函数。若不等号相反，即 则称为上凸（）或凹函数。 若将上述“”﹑“”改为“”﹑“”则分别称为 严格凸和严格凹。 上述凹凸函数可以用下列形象直观图形来表示： 在[a,b]上定义的下凸函数 在[a,b]上定义的上凸函数 由上述凸函数性质，我们只需证明熵函数满足下列不等式。即熵函数为上凸函数。 （对照上凸函数性质，即） 其中，而因此只需证： （Jensen不等式） 证明中，我们引用了著名的Jensen不等式。在概率论中它引用了一些知名的不等式：他们有Holder﹑Schwartz﹑Minkorsky﹑Markov﹑Chebysher﹑Absolute以及Jensen不等式。本书中归一化的仅引用Jensen不等式。其含义为：若f(x)是随机变量X（）的凸函数，则有： —— 下凸时 —— 上凸时 上式证明中要注意：log x为上凸函数。 证法二：设P，Q为两组归一的概率矢量  *严格上凸函数在定义域内的极大值必为最大值，用上凸性求最大熵时，只需求导并取极值即可。 给定信源，求限制下的条件极值。令： 为待定常数，若取对数的底为自然数e, 而 故 作业一 [习题1].同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量？（pp69 2.2） [习题2].居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问可获得多少信息量？（pp69 2.4） [习题3].设离散无记忆信源 其发出的消息是 (202120130213001203210110321010021032011223210)，求 此消息的自信息是多少？ 在此消息中平均每个符号携带的信息量是多少？（pp69 2.6） [习题4].设信源 求这信源的熵，并解释为什么，不满足信源熵的极值性。（pp70 2.9）