2.5平均互信息的凸性.pdf

2.5 平均互信息的凸性 复习 连续信源熵 b H c (X ) − p (x ) log p (x )dx ∫a 峰值功率受限的最大熵定理 H X ≤ln 2M c ( ) 平均功率受限的最大熵定理 1 2 H X ≤H X log 2πeσ ( ) ( ) c c G 2 1 熵功率 σ2 e2H C ( X ) 2πe 复习 平均互信息 – 定义及含义 – 性质：对称性、非负性、极值性 – 与熵的关系 I (X ;Y) H(X )−H(X |Y) H(Y)−H(Y |X ) H(X )+H(Y)−H(XY) – 信息处理定理 I (X ;Y) ≥I (X ;Z ) – 凸性 在[a,b]上定义的上凸函数 f [αp +(1−α)q] ≥ αf (p ) +(1−α)f (q) αp +(1−α)q 凸集 若集合C ⊂Rn （n维欧氏空间），有p ∈C,q ∈C 且对任意实数0≤λ≤1有 λp +(1−λ)q ∈C , 则称为C为凸集合。 显然，n维欧氏空间为一凸集合。 概率矢量构成集合为凸集 定义 若一个K维矢量α=(α , α , …, α ) 的所有分量为 1 2 K 非负的，且和为1，即就称α为概率矢量。 引理 概率矢量全体所构成的区域R 是凸的。 证：若α, β∈R ，对0≤θ≤1构造矢量γ=θα＋(1-θ) β γ θa +(1−θ)β ≥0 k 1, 2, K k k k K K K γ θ a +(1−θ) β 1 ∑ ∑ ∑ k k k k 1 k 1 k 1 因此γ是概率矢量，仍属于R ，所以R 是凸的。 凸函数定义 定义在凸集R上的一个实函数f ，若它对所有 α, β∈R和0≤θ≤1满足 θf (α)+(1 －θ)f ( β) ≤f (θα＋(1－θ) β) 就称函数f 为R上的凸∩函数，若式中不等号的 方向相反，就称f 为凸∪函