近代信息论-第一章-1.ppt

近代信息论 熵函数的数学特征——极值性的证明 证1： 证2 近代信息论 熵函数的数学特征——最大离散熵定理 引理1 最大离散熵定理 离散信源，以等概率分布的熵最大。 熵越大代表随机性越大。 近代信息论 引理2 条件熵小于无条件熵 熵函数的数学特征——引理2 证 近代信息论 上凸性： 熵函数的数学特征——上凸性 recall 熵的上凸性，极值必为最大值； 存在最大熵。 推论 P H(P) 近代信息论 熵函数的数学特征——上凸性的证明 熵的定义 内乘，分解 熵的极值性 近代信息论 熵函数的公理构成 熵函数的公理构成—熵函数的唯一性定理 要求“熵”具有的性质： 对称性 扩展性 极值性 可加性 则合理且唯一的形式为： 证明略 近代信息论 小结 信息量 熵条件熵（极值性,上凸性） Jensen 不等式， back 第一章 信源与信息熵 本章关键： 如何定量表示信息 近代信息论 主要内容 第一节：信源的特性和分类 第二节：离散信源的信息熵 近代信息论 第一节：信源的特性和分类 信源—— 消息的来源（头脑，控制中心） 消息中包含的信息。 信息 information 信号 signal 消息 message 抽象，关于事物运动状态和规律的知识 代表信息的符号（如语言、文字） 消息的物理表示（光波，电信号） 信源发出的消息不能预先知道 信源存在不确定性 信源的描述 近代信息论 信源的描述—— 引入数学工具，采用随机变量来描述信源 第一节：信源的特性和分类 待解决的问题： （1） 如何定量表示信息的多少 （2） 消息的统计特性，信源产生信息的速率 近代信息论 信源分类 以变量取值分类 以相互关联性分类 以消息的意义分类 近代信息论 信源分类——变量取值 连续信源 离散信源 混合信源 连续信源的数学模型： 离散信源的数学模型： 近代信息论 信源发出的不只是一个符号，而是一系列符号，更一般地是一个随机过程： 如：时间的函数X(t)——语音 空间的函数X(x,y)——图象 时间上或是空间上的离散随机变量，可用随机序列表示： （a)有记忆信源 (b)无记忆信源 信源分类——相互关联性 说明 近代信息论 X为无记忆信源 X为有记忆信源 信源分类——相互关联性 近代信息论 单符号离散信源 一个符号代表一个完整的消息 多符号离散信源 多个符号代表一个完整的消息 如：图象 只能研究多符号平稳离散信源 信源分类——消息的意义 back 近代信息论 第二节：离散信源的信息熵 信息量和熵 凸函数的数学知识 熵的数学特征 熵函数的公理构成 小结 近代信息论 2-2 信息量和熵 定义： 含义： 信息量——信息的量度 收到一则消息，其中包含的信息的多少。 信息论中的基本问题 近代信息论 单位 2-2信息量和熵——信息量 合理性： 确知事件 P=1; I=0 小概率事件 P很小； I 很大 P ;I 近代信息论 定义： 熵——信源的平均信息量 ——信源平均不确定性的描述 2-2信息量和熵——熵 近代信息论 含义： 每发出一个符号所提供的平均信息量； 信源在没有发出符号以前，收信者对信源存在的平均不确定性； H(X)表示随机变量的随机性。 单位：同信息量 Bit, Nat, Tet 2-2信息量和熵——熵 近代信息论 1.下凸函数（U型） 2-2信息量和熵——凸函数的数学知识 E.g. -logx 近代信息论 2.上凸函数（ 型） 2-2信息量和熵——凸函数的数学知识 E.g. logx 近代信息论 3.Jensen不等式 （a）若f(x)是U型凸函数，X是随机变量 2-2信息量和熵——凸函数的数学知识 随机变量的变换再取平均值 随机变量取平均值再做变换 有Jensen不等式 近代信息论 取等号的条件： 2-2信息量和熵——凸函数的数学知识 有Jensen不等式 近代信息论 Jensen不等式 （a）若f(x)是U型凸函数，X是随机变量 （b）若f(x)是 型凸函数，X是随机变量 取等号情形同（a） 2-2信息量和熵——凸函数的数学知识 近代信息论 4.有用的不等式 2-2信息量和熵——凸函数的数学知识 X-1 Log x 证 近代信息论 2-2信息量和熵——熵函数的数学特征 对称性 非负性 扩展性 确定性 极值性 上凸性 可加性（递推性） 近代信息论 熵函数的数学特征 对称性 非负性 扩展性 （小概率事件，信息量大，但不影响总体平均，反映了熵的平均性） 确定性（确知事件，无信息可言） 近代信息论 推导并引出概念 联合熵 H(XY) 条件熵 H(Y|X) 熵的可加性公式： H(XY)=H(X)