信息论复习总结计划笔记记录.docxVIP

信息论回答了通信的两个最基本问题 : 1） 数据压缩的极限； 2） 信道传输速率的极限； 信息、消息和信号 消息：信息的載體（能被感知和理解、進行傳遞和獲取） 信息：事物運動狀態或存在方式的不確定性的描述（香農） 先驗概率： P(a i ) 自信息： I(a i )=log[P -1 (a i )] ；（信息接收的不確定性） 互信息： I(a i ;b i )= log[P -1 (a i )]- log[P -1 (a i |b i )]; （信息接收的多少度量） （若信道無干擾，則互信息等於自信息等於 0） 優點：明確的數學模型、定量計算； 缺點：有適用範圍； 信號； 通信系统的模型 通信系统的基本要求 : 有效、可靠、保密、认证 离散信源及其信息测度 ﹣离散信源的定义：輸出信息數有限、每次只輸出一個； ﹣自信息的定义及物理意义 事件發生前：事件發生的不確定性； 事件發生后：時間含有的信息量； 信息熵的定义及物理意义定義：自信息的數學期望（  ,  信息熵的基本性质 H(X)= - ∑ [ P(a  i )logP(a  i ) ]  ） 信源的總體信息測度 （ 1） 每個消息所提供的平均信息量； 2） 信源輸出前，信源的平均不確定性；性質：（ 1） 對稱性；（ 2） 確定性； 3） 非負性；（ 4） 擴展性（可拆開）； 5） 可加性； [ H(XY)=H(X)+H(Y) ] 6） 強可加性； [ H(XY)=H(X)+H(Y|X) ] 7） 遞增性； 8）極 性 ; [ H(p 1,p 2,p 3? ,p q) ≤ H(q-1 ,, ? , q -1 )= logq ] 等概率分佈信源的平均不確定性最大，稱為最大離散 定理； — 离散无 信源的 展信源 — 展信源的 H(X) = NH(X) — 离散平 信源： 合概率分布与 起点无关； ： 合 H(X 1X2)= ∑∑ P(a i aj )logP(a i aj ) 条件 H(X 2|X 1)=- ∑∑ P(a i aj )logP(a i |a j ) 关系： H(X1X2)=H(X 1)+H(X 2|X 1) 率 : 离散平 信源的极限 = limH(X N|X 1X2?XN-1) — 可夫信源 : 某一 刻的 出只与此刻信源所 的状 有 关而与以前的状 及以前的 出符号都无关； — 可夫信源的 ： Hm+1=H(Xm+1|X 1X2? Xm) — 信源剩余度 的相 率 η= H极限 /H0 信源剩余度 （ 出符号 依 度）γ = 1- η =1-H极限 /H 0 离散信道及其信道容量 — H(X;Y)=H(X)-H(X|Y) — 离散信道的数学模型 — 信道矩 性質 1）P(a i bj)=P(a i )P(b j |a i )=P(b j )P(a i |b j ) ； （ 2）[ P(b 1) ] [ P(a 1) ] [ P(b 2) ] [ P(a 2) ] [ P(b 3)] = [ P(a 4) ] （ r ≠s） [ ? ] [ ? ] [ P(b s) ] [ P(a r ) ] 3） 輸出端收到的任一 bj 一定是輸入符號 ar 中的某一個送入信道； 信道疑 度的定 ： 收到 Y後對變量 X尚存在的平均不確定 性： H(X|Y)=E[H(X|b j )]= ∑ P(xy)log -1 P(X|Y) 物理意 : 噪聲造成的影響大小； ─ 平均互信息的定 ： 收到 Y後平均每個符號獲得的關於 X的信息量（物理意義：反映輸入輸出兩個隨機變量之間的統計約束 關係）： I(X;Y)= H(X)-H(X|Y) = ∑P(xy)P(y|x)P -1 (y) 無噪一一對應信道中： I(X;Y)=H(X)=H(Y) ＝ 0 — 信道容量的定 ： 信道每秒鐘平均傳輸的信息量稱為信息傳 輸速率，最大信息傳輸率稱為信道容量； — 信道容量的 算 : 无噪信道 ( 求 H(X) 極 ) ：C = logr 称信道（信道矩陣的每一行或列是另一行或列的置換）： C = logs-H(p 1,p 2, ?,p s) 称信道： C = logr-plog(r-1)-H(p) ； 准 称信道： C = logr-H(p 1,p 2, ?,p s)- ∑ NklogMk Nk是第 k個子矩陣行元素之和， Mk是第 k個子矩陣列元素之和） 一般离散信道（對所有可能的輸入概率分佈求平均互信息的最大 ）： C = λ＋ loge 條件： I(x i ;Y) = ∑ sj=1 P(bj |a i )*log[P(b j |a i )/P(b j )] ≤ C — 数据 理定理 如果 X、 Y、 Z 成一个