32平均互信息.ppt

§3.1 信道模型 §3.2 平均互信息 §3.3 信道容量 §3. 1 信道模型 由于噪声和干扰存在，信道输入输出之间是统计依赖关系，而不是确定关系。研究信道就是要研究输入输出信号特性和它们的统计依赖关系。 §3. 1 信道模型 §3. 1 信道模型 §3.1 信道模型 §3.2 平均互信息 §3.3 信道容量 练习： §3.1 信道模型 §3.2 平均互信息 §3.3 信道容量 §3.1 信道模型 §3.2 平均互信息 §3.3 信道容量 §3.1 信道模型 §3.2 平均互信息 §3.3 信道容量 练习： §3.1 信道模型 §3.2 平均互信息 §3.3 信道容量 一般信道 TH3.6 基本方法推导(1) 基本方法推导(2) 基本方法(结论) TH3.8(2．?由I(x;Y)求C) TH3.8(2．?由I(x;Y)求C) 例6 3．迭代解法（自习） 4．一般情况 4．一般情况 例7 结合前面的C定义，分析一下C的基本性质。。。 1．基本方法：拉格朗日乘子法 　其中第二项： 　关键:第一项 四、一般离散信道的信道容量 §3. 3 信道容量 四、一般离散信道的信道容量 §3. 3 信道容量 最佳输入P*(ai)时有: P(ai)0时，C=I(ai;Y) 1．基本方法：拉格朗日乘子法 四、一般离散信道的信道容量 §3. 3 信道容量 1．基本方法：拉格朗日乘子法 B．当P(ai)=0时 由Th3.6得 四、一般离散信道的信道容量 §3. 3 信道容量 TH3.7: 一般离散信道的平均互信息I（X;Y）达到极大值（即等于信道容量）的充要条件是输入概率分布｛Pi｝满足： 四、一般离散信道的信道容量 2．?由I（x;Y）求C §3. 3 信道容量 四、一般离散信道的信道容量 例6．BEC（验证Th3.7） 当P(x)=1/2时， P(y=0)=P(y=1)=(1-q)/2, P(y=2)=q 2．?由I（x;Y）求C 且P(x)0，∴ P(x) =1/2为最佳分布 0 1 0 1 1－q 1－q q q 2 §3. 3 信道容量 2．?由I（x;Y）求C ※ 直观理解： 当I（ak,Y）→max，P(ak)↑ ※ 最佳输入不唯一 ! 四、一般离散信道的信道容量 §3. 3 信道容量 其中， TH3.8 设信道的转移概率矩阵为Q=［P(bj | ai)］r?s，P 0是任给的输入符号的一个初始概率分布，其所有分量P 0(ai)均不为0。按照下式不断对概率分布进行迭代、更新： 则由此所得的I(P r,Q)序列收敛于信道容量C。 四、一般离散信道的信道容量 §3. 3 信道容量 四、一般离散信道的信道容量 3．迭代解法（自习） 信道容量的迭代算法 开 始 p0?p Iu-IL? C=IL 输出 是 否 §3. 3 信道容量 由 得： 四、一般离散信道的信道容量 §3. 3 信道容量 四、一般离散信道的信道容量 由 当r=s，且： 非奇异 有s个未知数的r个非齐次方程组 §3. 3 信道容量 4．一般情况 解： , 求C 例7． 四、一般离散信道的信道容量 §3. 3 信道容量 四、一般离散信道的信道容量 4．一般情况 例7． 解： 又由 有： §3. 3 信道容量 下面以信道模型方式介绍几个常用信道 因数字调制系统中并没有对某个码元符号特别保护的机制，所以各符号传输的情况一致，即每个符号正确传输的概率均一样，错误。。也一样 以单符号DMC作为研究的基本对象，信源发出携带了信息的各种消息，输入信道，我们知道，实际的信道并非一个透明的通道（点击出第一图——信道），由于干扰和噪声等各种因素，它一方面让信号通过，同时又给信号带来一定的限制或改变，这就使信源发出的信息量发生改变，假设平均每个符号送上信道的信息量有这么多。。，经信道传输，存在一定衰减、损失，到输出端可能就剩这么多了。那么我们用怎样的测度函数表示在传输过程个阶段的信息变化呢—— §3. 2 平均互信息 若三个离散随机变量，有如下关系：X+Y=Z， 其中，X与Y统计独立。试比较下列函数关系。 （1） H(X)与H(Z)； （2） H(Y)与H(Z)； （3） H(XY)与H(Z)； （4） H(X)与I(X;YZ)； （5） I(X;Y|Z)与H(X|Z)或 H(Y|Z) 。 §3. 2 平均互信息 预习：第3.3节。 作业：P54页1、5。 §3. 2 平均互信息 习题1：P54页T5 §3. 2 平均互信息 设有一批电阻，按阻值分70％是2kΩ，30％是5kΩ；按瓦数分64％是1/8W，其余是1/4W，现已知2 kΩ