信源熵单符号离散信源A演示文件修改版.ppt

通信前 先验不定度（联合自信息量） 发送 接收 观察通信系统： 后验不定度 通信后 发送 接收 这样，通信后流经信道的信息量，等于通信前后不定度的差。 互信息的性质 对称性 当X和Y相互独立时，互信息为0 互信息量可为正值或负值 1 2 3 2 是 ，也是 的已知条件。 条件互信息量 3 信源熵 熵 条件熵 联合熵 三.信源熵 已知单符号离散无记忆信源的数学模型 这里的符号是指代表信源整体的X 信源熵 1 信源熵 ：各离散消息自信息量的数学期望，即信源的平均信息量。 信源的信息熵；香农熵；无条件熵；熵函数；熵 ，单位：比特/符号。 例[2.1.3] 继续讨论第一节的例题，即某地二月份天气构成的信源为 由定义，得到该信源的熵为： 信源熵和平均自信息量两者在数值上是相等的，但含义并不相同。信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。信源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源的熵值，这熵值在总体平均的意义上才有意义，因而是一个确定值。 熵是确定值。 在离散信源的情况下，信源熵的值是有限的。而信息量只有当信源输出离散消息并被接收后，才有意义。这就是给予接收者的信息度量。这值本身可以是随机量，如前面所讲的自信息量。也可以与接收者的情况有关，如后面要提到的意义信息 量。当信源输出连续消息 时, 信息量的值可以是无 穷大。 信源熵与信息量的比较 信源的平均不确定度 消除不定度得到信息 与信源是否输出无关 接收后才得到信息 确定值 一般为随机量 有限值 可为无穷大 熵 信息量 总括起来，信源熵有三种物理含义： 信源熵H(X)表示信源输出后，离散消息所提供的平均信息量。 信源熵H(X)表示信源输出前，信源的平均不确定度。 信源熵H(X)反映了变量X的随机性。 1 2 3 条件熵 2 看例2.1.4 联合熵 3 熵的文氏图表示 找 找 假 币 在 哪 里 ? 一次称重的信息量为log3 k次：klog3 3log3=log27log24 思考题： 12个硬币中有一个假币。已知假币与真币质量不同，但不知重还是轻。现在要求不用砝码在天平上称三次，找出这个假币来，同时要求出这个假币比真币轻还是重。 延伸问题：若有17枚同质硬币中有1枚假币，仅知假币与真币重量不同，如何用1台没有砝码的天平找出假币？用信息度量方法计算找出假币至少需要称量多少次。 非负性 对称性 1 2 §2.1.3 信源熵的基本性质和定理 可以互换顺序。 定理 信源中包含n个不同离散消息时，则信源熵H(X)有 当且仅当X中各个消息出现的概率全相等时，上式取等号。 最大离散熵定理 3 证明：自然对数具有性质 图2.1.4 自然对数的性质 见P17 对于单符号离散信源，当信源呈等概率分布时具有最大熵。 例 一般二元信源的熵 时熵与概率的关系 虽然概率很小的事件出现后，给予接收者的信息量很大，但对熵的贡献很小，可以忽略不计。 扩展性 4 * * 信息度量的方法有：结构度量、统计度量、语义度量、语用度量、模糊度量等等。 最常用的方法是统计度量。它用事件统计发生概率的对数描述事物的不确定性，得到消息的信息量，建立熵的概念。 熵概念是香农信息论最基本最重要的概念。 2.1 单符号离散信源 2.3 连续信源 2.2 多符号离散信源 2.4 离散信源无失真编码定理 第2章 信源熵 信源 信宿 干扰源 信道 噪声 简单通信系统模型 §2.1.1 单符号离散信源的数学模型 连续信源 离散信源 单符号离散信源 多符号离散信源 信源输出的是一个个符号，这些符号的取值是有限的或可数的。 只涉及一个随机事件的 离散信源。可用离散随机变量来描述。 涉及多个随机事件的离散信源。可用随机矢量来描述。 输出连续消息的信源。可用随 机过程来描述。 信源 离 散 信 源 连 续 信 源 单符号 多符号 随机变量 随机矢量 随机过程 信源分类 对于离散随机变量，取值于集合 单符号离散信源