第2章21信源模型与信息度量3v1.pptxVIP

基础信息论;第2章 信源熵;2.1 信息的度量与信源熵;加权熵的引入;概率空间;加权熵的基本性质——很多与传统熵的性质类似;4. 扩展性 5.连续性;6.均匀性 7.等重性;8. 非容性;9. 最大加权熵的求解;最大加权熵的求解;最大加权熵的求解;2.1 信息的度量与信源熵;2.1 信息的度量与信源熵;A. 互信息量;观察通信过程;互信息量定义;例题;互信息的三种形式1;互信息的三种形式2;互信息的三种形式3;互信息的三种形式3(续);第一种形式： 信宿端;互信息的性质2;互信息的性质3;C. 条件互信息量和联合互信息量;三个互信息量的关系;例;续例;续例;2.1 信息的度量与信源熵;问题：有了互信息量，为什么还要求平均？;;;;平均互信息的性质;;平均互信息的性质（续）;极值性讨论;极值性讨论（续）;极值性讨论（续）;极值性讨论（续）;4. 凸函数性;;(2) 凸函数性质的具体内容;2.1 信息的度量与信源熵;平均互信息和各类熵的关系;例题1;;;;;;接下来计算;如图为二进制对称信道的情况，可知，输入呈等概率分布： 时，平均互信息量最大。