电子信息论课件.pptxVIP

資訊理論的基本概念;熵

熵的引入

香農熵與熱力學熵的關係

熵可以作為資訊的度量

熵函數的性質

聯合熵和條件熵;

資訊無處不在，但：

資訊用什麼表示？如何表示？;考察、分析資訊的特徵;熵的引入;熵的引入;香農指出：存在熵函數

滿足先驗條件;熵的單位;香農熵與熱力學中熱熵的關係;（不確定性）;;;例1.2:;熵的物理含義;熵的物理含義;熵函數的性質;熵函數的性質－－非負性;熵函數的性質－－非負性;熵函數的性質－－上凸性

;在[a,b]上定義的下凸函數;在[a,b]上定義的上凸函數;熵函數的性質—上凸性;熵函數的性質;例1.3：二元熵函數是對0－1分佈的隨機變數所求的熵：;;熵函數的性質－－唯一性;熵函數的性質－－唯一性;聯合熵與條件熵;聯合熵與條件熵;聯合熵、條件熵的關係：;聯合熵、條件熵的關係：;;離散互信息;離散互信息;離散互信息;離散互信息;＝;互信息函數的性質;互信息函數的性質;互信息函數的性質;互信息函數的性質;互信息函數的性質;熵VS互信息;;連續隨機變數下的熵;連續隨機變數下的熵;連續隨機變數下的熵;連續隨機變數下的熵;連續隨機變數下的熵;連續隨機變數下的熵;;連續分佈隨機變數的微分熵VS離散隨機變數的熵

;均勻分佈連續隨機變數的熵;高斯分佈連續隨機變數的熵;具有最大熵的連續隨機變數;連續隨機變數下的互信息;對資訊理論基本概念的若