第二章 离散信源及信息熵(上).pptVIP

§2. 4 熵函数的数学性质与其物理意义 证明： §2. 4 熵函数的数学性质与其物理意义 §2. 4 熵函数的数学性质与其物理意义 The entropy function is a strictly convex function. 因此，只有当函数具有上凸性时，在其值域中一 定存在有绝对极大值，故熵函数必然有最大值问题 —— Maximum entropy theorem 最简单的熵函数——二元信息熵（The binary entropy function） §2. 4 熵函数的数学性质与其物理意义 二维熵函数——三元信息熵 (The triple entropy function) §2. 4 熵函数的数学性质与其物理意义 §2. 4 熵函数的数学性质与其物理意义 §2. 4 熵函数的数学性质与其物理意义 §2. 4 熵函数的数学性质与其物理意义 §2.4.2 各种熵函数的互换关系 一、联合熵与信息熵、条件熵的关系 ？ 二、由熵函数可加性的推广可得： §2.4.2 各种熵函数的互换关系 三、联合熵与分部信息熵的关系 其中证明的难点一： 1 1 其中证明的难点二： §2.4.2 各种熵函数的互换关系 同理可推出： 等号成立的充分必要条件是： * 第二讲 §2. 2 . 自互信息与条件自互信息 一个等概率信源有八种消息符号，用四比特的码字序列输入 信道，其编码定义如上表；用实验测定上述码字中的每一个二进 制符号经信道输出可得二元符号y, 已知条件概率(信道特性)为: def def def 0 0 1 1 X Y 1-? 1-? ? ? 当实验结果得 Y=0000 时，求： §2. 2 . 自互信息与条件自互信息 0 0 1 1 X Y 1-? 1-? ? ? 例题分析： 由此可见，利用四比特代码传三比特信息，一定有纠错功能。 因为只考虑具体事件的关系，则没有熵或互信息的概念，仅是自互信息。 §2. 2 . 自互信息与条件自互信息 又收到一位码为零，问此位码带来多少关于 的自信息？ 当已测定第一位码之后， §2. 2 . 自互信息与条件自互信息 Ⅰ. 解法一 Ⅱ. 解法二 Ⅲ. 解法三 Ⅳ. 解法四 ? ? §2. 2 . 自互信息与条件自互信息 §2. 2 . 自互信息与条件自互信息 Ⅱ. 解法二 §2. 2 . 自互信息与条件自互信息 Ⅲ. 解法三 Xn之间 相互独立； 但无法保 证yn之间 相互独立。 §2. 2 . 自互信息与条件自互信息 Ⅳ. 解法四 ？ ？ §2. 2 . 自互信息与条件自互信息 §2. 2 . 自互信息与条件自互信息 显然，还有两种解法要比以上两种解法的概念清晰： 解法一、 §2. 2 . 自互信息与条件自互信息 解法二、 §2. 2 . 自互信息与条件自互信息 Q.E.D. 第二章. 信息的度量与信息熵 §2. 3 离散信源的信息熵 (Entropy of the Discrete Source) 单个消息事件的数学描述是随机变量(random variable) 单个的消息序列的描述是随机矢量(random vector) ,而消 息集合——信源的数学描述就应是概率空间(probability space)。因此，离散信源的数学模型就是离散概率空间。 当信源输出的消息符号其取值是有限个种类，则这是 离散型随机变量，此信源称离散信源，其数学模型为： 一个消息事件的概率为 ,它的自信息是 ,这 也是一个随机变量。(因消息不同，它所含有的不定度也不同.因 而其自信息本身也是随机的。)显然不能用它来作为整个信源的 信息测度。 (或者说是信源功能描述)要找一个集合的总体特征， 从数学上看是求数学期望( mathematical expectation ) ，所以特 定义自信息的数学期望为信源客观上的平均信息量，称为信源 的信息熵(Entropy) 。 Definition of Entropy: §2. 3 离散信源的信息熵 def “熵”这个名词来源与统计热分子力学，其物理含义是表示分子运动的不均匀性，或描述分子运动的混乱程度。物质越热其热熵越大即分子运动越快。我们借用熵的含义反映信源这个消息集合中的总体特征——平均不确定度。(Average Uncertainty) 所表示某一事件 的自信息，当且仅当在该事件发生之后其不定度完全解除掉，我们才能说获得了大小与