信息论6－-3.pptVIP

复习 连续信源的差熵: 在离散信源熵的公式中, 用 ? 代替 ? 连续信源差熵与离散信源熵的区别：不具有非负性和变换 (一一映射) 不变性 均匀分布连续信源的熵：h(X) = log(b-a) / h(X) = ?ilog(bi-ai) = ?i h(Xi) 高斯分布连续信源的熵: h(X) = log ?(2?e?2) / h(X) = log ?[(2?e)N |C|] 复习：最大熵 输出幅度(峰值功率)受限，则其输出信号的概率密度是均匀分布时，信源具有最大熵 平均功率受限，则其输出信号幅度的概率密度分布是高斯分布时，信源具有最大的熵 熵功率：熵为h的高斯信源的平均功率 剩余度：熵为h的其他与熵功率之差 零均值非高斯连续型随机变量X,Z，令Y=X+Z，有 复习：连续信源变换 变换前后联合概率密度函数间的关系： py(y1y2…yN) = px(x1x2…xN)|J(X/Y)| 变换后相对熵的变化（不具备变换不变性）： h(Y)=h(X)－E[log|J(X/Y)|] 复习： 连续信道和波形信道 波形信道：输入和输出都是随机过程 1）高斯信道：信道噪声n(t)统计规律服从高斯分布。 2）白噪声信道：信道噪声的功率谱密度是常数Pn(?)=N0/2； 相关函数 Rn(?)=?(?)N0/2 1＋2）高斯白噪声信道；其他：有色噪声信道 多维连续信道：连续无记忆 p(y|x)=?i p(yi|xi)/连续有记忆 基本连续信道：输入和输出都是单个连续型随机变量的信道 根据噪声的统计特性和作用，多维连续信道和单符号连续信道同样有加性信道、乘性信道和高斯信道等之分。 加性连续信道p(y|x) ＝ p(n) ? h(Y|X)＝h(n) 加性连续信道 pxy(xy)＝pxn(x,n=y-x)|J(x,n/x,y)|=pxn(xn)=px (x)pn(n) py|x(y|x) = pxy(xy)/px(x) = pxn(xn)/px(x) = pn(n) 条件熵 h(Y|X)＝－?? p(xy)log p(y|x)dxdy = －? p(x)dx? p(n)log p(n)dn = h(n) 结论1、传递概率是由噪声引起的； 结论2、条件熵＝噪声熵 说明：后面主要研究高斯白噪声和加性信道 6. 7 连续信道和波形信道的信息传输率 6.7.1 单符号连续信道的平均互信息 单符号连续信道的输入信源X为： I(X;Y) = H(Xn) - H(Xn|Yn) 说明：1）保留了离散信道的平均互信息的所有含义和性质；2）只不过用连续信源的差熵替代了离散信源的熵。 单符号连续信道的信息传输率： R=I(X;Y) (比特/自由度) 6.7.2 多维连续信道的平均互信息 多维连续信道的数学模型为[X，p(y/x) ，Y]，平均互信息： I(X;Y) = h(X) - h(X|Y) = h(Y) - h(Y|X) = h(X) + h(Y) - h(XY) 多维连续信道的信息传输率 R=I(X;Y) (比特/N个自由度) 平均每个自由度的信息传输率 R=I(X;Y)/N (比特/自由度) 6.7.3 波形信道的信息传输率 波形信道的平均互信息为： I(x(t);y(t)) = limN??I(X;Y) = h(x(t)) - h(x(t)|y(t)) = h(y(t)) - h(y(t)|x(t)) = h(x(t)) + h(y(t)) - h(x(t)|y(t)) 对于波形信道，一般研究其单位时间内的信息传输率Rt Rt = limT??I(X;Y)/T （比特/秒） 6.7.4 连续信道平均互信息的特性 两连续型随机变量之间的平均互信息的表达式与两离散随机变量之间的平均互信息的表达式不但相类似，而且具有相同的性质。 两连续型随机变量之间的平均互信息有下述特性： 1．非负性: I(X;Y) ?0 2．对称性(交互性): I(X;Y) = I(Y;X) 3．凸状性: I(X;Y)是p(x)的上凸函数，又是p(y|x)的下凹函数 4．信息不增性：x?y?z ?I(X;Z) ? I(X;Y) 5．坐标变换平均互信息的不变性：I(S;Z) = I(X;Y) 连续信道平均互信息的特性I(X,Y)与I(Xi,Yi)的关系: 若平稳连续信源是无记忆的： I(X,Y) ? ?i I(Xi,Yi) 若多维连续信道是无记忆的： I(X,Y) ? ?i I(Xi,Yi) 若平稳连续信源是无记忆的，多维连续信道也是无记忆的： I(X,Y) = ?i I(Xi,Yi) 6. 8