信息论导论--第2章信源熵续1.ppt

信源熵第二讲 单符号离散信源、自信息量、熵； 熵的严格上凸性 最大熵定理 习题 多符号离散信源、联合自信息量、联合熵； 条件自信息量、条件熵 离散平稳信源、联合熵 离散平稳无记忆信源、联合熵 信源的描述与分类 　　　按照信源发出的消息在时间上和幅度上的分布情况，把信源分为： 连续信源：发出在时间上或幅度上都是连续分布的连续消息的信源； (1)时间连续，幅度离散 (2)时间离散，幅度连续(连续信源) (3)模拟信源 2. 离散信源：发出在时间上和幅度上都是离散分布的离散消息的信源。(数字信源) 离散信源又可以细分为： （1）离散无记忆信源：所发出的各个符号之间是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。 （2）离散有记忆信源：发出的各个符号之间不是相互独立的，各个符号出现的概率是有关联的。 根据信源发出一个消息所用符号的多少，将离散信源分为： 1. 发出单个符号的离散信源：信源每次只发出一个符号代表一个消息； 2. 发出符号序列的离散信源：信源每次发出一组含两个以上符号的符号序列代表一个消息。 将以上两种分类结合，就有四种离散信源： （1）发出单个符号的无记忆离散信源； （2）发出符号序列的无记忆离散信源； （3）发出单个符号的有记忆离散信源； （4）发出符号序列的有记忆离散信源。 ----马尔可夫信源： 某一个符号出现的概率只与前面一个或有限个符号有关，而不依赖更前面的那些符号。 为什么要研究凸性？ ⑤熵的极值性 任一概率分布{p(ai)}，它对其它概率分布{p(bi)}的自信息取数学期望时，必大于{p(ai)}本身的熵 * 信源熵 * 2010年3月 信息论导论 通信与信息工程学院 杨海芬 概念复习 4、熵的主要性质和最大熵定理 ①非负性 ②对称性 当变量的顺序任意互换时，熵函数的值不变。 ③确定性，即 这个性质意味着从总体来看，信源虽然有不同的输出符号，但它只有一个符号几乎必然出现，而其它符号都是几乎不可能出现，那么，这个信源是一个确知信源，其熵等于零。 ④严格上凸性 证明见板书 严格上凸性的描述——设函数f(x)对任一小于1的正数α及定义域中任意两个值x1、x2，如果 则称函数f(x)为严格上凸函数。 闭集上极值的唯一性 极值--》最值 通信系统中的优化问题 移动通信系统中的最优功率控制算法 凸约束最优化问题的梯度投影算法 …….. ⑥最大熵定理 等概率信源具有最大熵，最大熵H(X)max=logn 等概率分布信源的平均不确定性为最大。 证明见板书 例1 求信源的熵 例2 求信源的熵 例3 求信源的熵 例4 信源的熵及p-H(p)曲线 当p=0时，H(p)=0 p=0.25时，H(p)=0.811 p=0.75时，H(p)=0.811 p=1时，H(p)=0 p=0. 5时，H(p)=1 0 0.5 1 H(p) 1 p