3 第三章 单符号离散信道.ppt

Channel matrix BSC (binary symmetric channel ) Statistical average Mutual information Ensemble (time) average Chapter 3 单符号离散信道 概率复习 Conditional probability Random process Stochastic process Random series Normal distribution (Gaussian ~) 3. 4 平均交互信息量 定义 互信息量 是定量地研究信息流通问题的重要基础。但它只能定量地描述输入随机变量发出某个具体消息 ，输出变量出现某一个具体消息 时，流经信道的信息量；此外 还是随 和 变化而变化的随机变量。 互信息量不能从整体上作为信道中信息流通的测度。这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。 定义互信息量 在联合概率空间 中的统计平均值为Y对X的平均互信息量，简称平均互信息，也称平均交互信息量或交互熵。 条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存在的不确定度。这是传输失真所造成的。有时称H(X/Y)为信道疑义度，也称损失熵。 称条件熵H(Y/X)为噪声熵。 联合熵（共熵） 联合离散符号集合XY上的每个元素对 的联合自信息量的数学期望。 公式： 平均互信息 克服了互信息量 的随机性，可作为信道中流通信息量的整体测度。 三种表达方式 平均互信息的物理意义 从三种不同角度说明从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。此即“信息就是负熵” 各种熵之间的关系 Channel capacity Random time-varying channel Time invariant channel Feedback channel Symmetric channel White noise Gaussian noise Colored noise Nonwhite noise Impulse noise Quantizing noise Correlation function Correlation coefficient Energy density Energy density spectrum Power density spectrum 匹配信源不唯一 第十一节 几种对称信道的信道容量 一、强对称信道的容量 1. 输入 r与输出 s相等 2. 传递概率： r=s H(Y/X) 等概信源 特点： 当输入信源X达到最大熵值时，输出随机变量 Y同时达到最大熵值，即： H(X)=H(Y)=log r (2) 当输入X等概分布时： =1 I(XY ; Z) ≥ I(Y ; Z) 仅当p(cl/aibj)=p(cl/bj) (i=1,2,…,r ; j=1,2,…,s ; l=1,2,…,k) I(XY ; Z)=I(Y ; Z) 证明： (2) I(XY ; Z) ≥ I(X ; Z) 仅当p(cl/aibj)=p(cl/ai) (i=1,2,…,r ; j=1,2,…,s ; l=1,2,…,k) I(XY ; Z)=I(X ; Z) 证明同(1) *马尔可夫过程和马尔可夫链 马尔可夫过程：设{X(t) , t∈ T}为随机过程，若对 任意正整数 n及t1t2…tn，p(X(t1)=x1，X(t2)=x2， … ，X(tn-1)= xn-1)0，且其条件分布满足： p( X(tn) = xn / X(t1) = x1,X(t2) = x2, … ,X(tn-1) = xn-1) = p( X(tn) = xn / X(tn-1) =xn-1) 则称{X(t) , t∈ T}为马尔可夫过程。 时间离散、状态离散——马尔可夫链 (3) 证明： (i=1,2,…,r ; j=1,2,…,s ; l=1,2,…,k) （*）K-C方程 X Y Z a1 a2 ar b1 b2 bs c1 c2 ck p(bj/ai) p(cl/aibj) 数据处理定理：数据处理不会增加从Z中获取关 于X的平均交互信息量。 (4) 证明： =P(Z/Y) (i=1,2,…,r ; j=1,2,…,s ; l=1,2,…,k) X Y Z a1 a2 ar b1