[数学]信息论第一章.ppt

第一章随机变量的信息度量 ∵假设汉字字汇是等概率分布 ∴每个汉字出现的概率均为1/10000 每个汉字携带的信息量为 log10000=13.2877 bit/字 广播员口述的1000个汉字所广播的信息量为 1000×13.2877=13287.7 bit 需要的汉字数为 练习2解答 Tianjin Polytechnic University §1.3相对熵和互信息 相对熵 互信息量 相对熵和互信息 Tianjin Polytechnic University 相对熵 相对熵的定义 相对熵定理 相对熵 定义:定义在同一集合 上的两个概率分布 的相对熵为: 规定: Tianjin Polytechnic University 注:相对熵不具有对称性 Tianjin Polytechnic University 相对熵定理: 相对熵 证明:方法一利用 所以 Tianjin Polytechnic University 方法二利用 的严格凸性 相对熵 相对熵 方法三利用对数和不等式 Tianjin Polytechnic University Tianjin Polytechnic University 互信息量 互信息量 互信息量的定义 互信息量的性质 例题 平均互信息量 互信息量的链法则 数据