信息熵算法.pptVIP

5、可加性与强可加性： （涉及到了两个变量！） H（XY）为两个随机变量的联合熵。 可加性：H（XY）等于 X的无条件熵，加上已知 X 时 Y的条件概率的熵的平均值，即条件熵。 对于 X 与 Y 独立的情况有： （强可加性） * * 信息论基础 2011 年 3 月 教材和参考书： 傅祖芸 编著《信息论－基础理论与应用》， 电子工业出版社，2006，第二版. 孟庆生《信息论》，西安交通大学，1986。 （数学家写的研究生教材，含编码和密码） 朱雪龙《应用信息论基础》，清华大学出版社,2000。 （研究生教材，面向电子类，含编码方法。） 王育民、梁传甲《信息与编码理论》，西电教材。 （内容深入，推导过程少） 沈连丰、叶芝惠 编著《信息论与编码》 东南大学硕士教材，科学出版社，2004， （面向通信专业）。 周荫清主编《信息理论基础》 北航出版社，2006 （简洁，面向电子类） T. M. Cover J. A. T