《信息论基础熵.pptVIP

熵、联合熵、条件熵 目标 理解各种熵的概念; 掌握离散信源各种熵的基本性质 回顾（1） 回顾（1） 例1：设天气预报有两种消息，晴天和雨天，出现的概率分别为1/4和3/4，我们分别用 来表示晴天，以 来表示雨天，则我们的信源模型如下： 回顾（2） 说明 自信息量I(x1 )和I(x2 )只是表征信源中各 个符号的不确定度，一个信源总是包含着 多个符号消息，各个符号消息又按概率空 间的先验概率分布，因而各个符号的自信 息量就不同。所以自信息量不能作为信源 总体的信息量。 说明 说明 作业相关 人口问题：在某个地区，一对夫妻只允许生一个孩子，可是这里所有的夫妻都希望能生个男孩传宗接代，因此这里的夫妻都会一直生到生了一个男孩为止，假定生男生女的概率相同．问： (1)这个地区男孩会多于女孩吗？ (2)一个家庭孩子的个数用离散随机变量X表示，计算X的熵 解： ①假定一个家庭里有k个女孩，1个男孩，相应的概率是0.5k * 0.5，因此女孩的平均数是 ，女孩的平均数与男孩的平均数相等。 ② 习题相关 设离散无记忆信源 其发生的消息为（202120130213001203210110321010021032011223210） (1)此消息的自信息是多少? (2)在此消息中平均每