北邮信息论课件2new.pptVIP

证 利用数学归纳法。根据上凸函数的定义有 f[αx1+ 1-α x2]≥αf x1 + 1-α f x2 其中0 α 1 ，即q 2 时成立。 今假定 q n 成立。现考虑 q n+1 的情况 设 , 令 , 则 , 条件熵 ★ 条件熵：联合集XY上，条件自信息I y|x 的平均值 2.7 例 随机变量X和Y，符号集均为 0，1 解： 求H Y|X 联合熵 ★ 联合熵：联合集XY上，对联合自信息I xy 的平均值 2.7 续 例 由已知条件可得XY的联合概率分布，如下表所示 解： 求H XY 0 1 0 X 1 0 p xy Y 熵的基本性质 ★ 凸函数 ★ 信息散度 ★ 熵的基本性质 ★ 各类熵的关系 ★ 熵函数的唯一性 凸函数 下面我们来定义凸函数 LOOK一下 ★ 对于α 0≤α≤1 及任意两矢量x1,x2，有 f[αx1+ 1-α x2]≥αf x1 + 1-α f x2 上凸函数 cap x1 x2 若当且仅当x1 x2或α 0,1时等式成立 严格上凸函数 ★ 对于α 0≤α≤1 及任意两矢量x1,x2，有 f[αx1+ 1-α x2]≤αf x1 + 1-α f x2 下凸函数 cup x1 x2 若当且仅当x1 x2或α 0,1时等式成立 严格下凸函数 ★ 定理 ： f x 是区间上的实值连续严格上凸函数 任意一组x1