信息熵讲义资料.pptVIP

5、可加性与强可加性： （涉及到了两个变量！） H（XY）为两个随机变量的联合熵。 可加性：H（XY）等于 X的无条件熵，加上已知 X 时 Y的条件概率的熵的平均值，即条件熵。 对于 X 与 Y 独立的情况有： （强可加性） 6、递增性 （子集再划分，第 n 个分为 m 个） 按照定义证明： 例题：计算 7、极值性： 可利用两个引理证明；（以后再利用Jensen证明。） 引理 1 ：对于 x 0 引理 2 ： 其中： 引理2 证明 ： 两边求和即得结论: 是 P 的上凸函数。 即对于 ，有： 8、上凸性： 几何解释： f(EP)总在 Ef(P) 上边 和两个概率矢量 函数f 的图象 凸集：令 是定义在矢量空间中的区域 R 上 的实值分量的 K 维矢量。若对于 有： 则称 R 为凸集或凸区域。 概率矢量： 引理：概率空间中任意区域都是凸集。 证明： 则对于可构造矢量 若 例如： 凸函数：定义在凸集R上的一个实函数f，若它对所有的 满足： 则称函数 f 为 R 上的上凸函数， 若不等式符号相反，则为下凸函数。 上凸：Convex cap （or Concave） 下凸：Convex cup （or Convex） Jensen不等式：若 是 R上的上凸函数，则 ： 为随机变量，取值在R上，概率分布为 P （归纳法证明）（为了简化，省略了矢量的上箭头） 对于多个点的组合： 第三步：设 第一步：由定义 第二步：若 （－－前 n 项和） 熵函数的极值性证明： 对数函数是上凸函数， 点空间是凸集： （此说明仅为示意，不太确切） 熵函数的上凸性证明： 信息论基础 2011 年 3 月 教材和参考书： 傅祖芸 编著《信息论－基础理论与应用》， 电子工业出版社，2006，第二版. 孟庆生《信息论》，西安交通大学，1986。 （数学家写的研究生教材，含编码和密码） 朱雪龙《应用信息论基础》，清华大学出版社,2000。 （研究生教材，面向电子类，含编码方法。） 王育民、梁传甲《信息与编码理论》，西电教材。 （内容深入，推导过程少） 沈连丰、叶芝惠 编著《信息论与编码》 东南大学硕士教材，科学出版社，2004， （面向通信专业）。 周荫清主编《信息理论基础》 北航出版社，2006 （简洁，面向电子类） T. M. Cover J. A. Thomas , Elements of Information Theory ， Addison-Wesley Pub, 1990, 清华影印 。 R. J. McEliece《The Theory of Information and Coding》 第二版，电子工业出版社，2003。（内容简练，编码方面较全） * J.H.Van Lint 《Introduction to coding theory》 GTM 86, Springer-Verlag, 1998. * Roman 《Coding and information theory》, GTM 134， 新的教材： 在广义信息论、网络信息论方面的内容有所增加。 第一讲 1-1 信息论的主要内容 1-2 信息的度量－信息熵 1-3 信息熵的性质 信息熵 1－1. 信息论的主要内容 香农信息论最初是为了解决通信问题而提出的。 通信的重要意义是勿庸置疑的。 人类传递思想、表达情感，就需要相互交流。 人类的劳动、生产、政治、文化、日常生活等都离不开通信。 人类利用眼、耳、鼻、舌、身等五种感觉器官来感受外界的信息，形成一个信息流通的体系。 通信方式的不断提高，代表了人类文明和科技水平的不断提高。 通信的根本任务：将一地点的消息可靠地、有效地 传送到另一地点。 信源 干扰源 信道 信宿 通信系统的