信息论-第四章.pptVIP

* * §4.2 离散无记忆信道 显然模K加性噪声信道是对称DMC。信道容量为 状态转移矩阵的每一行都是概率向量，和为1。 * * §4.2 离散无记忆信道 三、一般DMC的信道容量与最佳输入分布的计算 （p95） （当DMC不是准对称信道时，求解信道容量和最佳输入分布并不容易） 若DMC的转移概率矩阵P是可逆方阵（此时K=J）。 则可以先假设最佳输入分布{q(x), x∈{0, 1, …, K-1}} 中每个概率q(x)都满足q(x)0。在这个假设下， 求出信道容量C； 然后求出最佳输入分布对应的“最佳输出分布” {w(y), y∈{0, 1, …, K-1}} ； 然后求出最佳输入分布{q(x), x∈{0, 1, …, K-1}}。 * * §4.2 离散无记忆信道 此时， 行向量为概率向量，和为1。 定理4.2.2 * * §4.2 离散无记忆信道 * * §4.2 离散无记忆信道 这是K个未知量 {β0, β1, …, βK-1 }={C+logw(0), C+logw(1), …, C+logw(K-1)} 的线性方程组，系数矩阵是可逆方阵，因此唯一解出{β0, β1, …, βK-1 }为 每一个都是转移概率矩阵P相应行向量的熵 * * §4.2 离散无记忆信道 求出了{β0, β1, …, βK-1 }（即上面的方程组的解为已知了） ={C+logw(0), C+logw(1), …, C+logw(K-1)}， 还不能确定C和{w(0), w(1), …, w(K-1)}的值。但是我们还有另一个等式： w(0)+w(1)+…+w(K-1)=1。 于是 * * §4.2 离散无记忆信道 求出了信道容量C，立即得到了“最佳输出分布” {w(y), y∈{0, 1, …, K-1}}和对应的最佳输入分布{q(x), x∈{0, 1, …, K-1}}。 结果需要验证(p95) 该向量是否是概率向量（分向量和为1）。若是，则结果正确，否则修正再计算。 * * §4.2 离散无记忆信道 例 设DMC的输入事件为{0, 1}，输出事件为{0, 1}，转移概率矩阵为 求信道容量和最佳输入分布。先假设最佳输入分布{q(0), q(1)} 满足q(0)0，q(1)0。因此 * * §4.2 离散无记忆信道 因此 * * §4.2 离散无记忆信道 例 特殊的DMC，称为Z信道：输入事件为{0, 1}，输出事件为{0, 1}，转移概率矩阵为 其中0ε1 。求信道容量和最佳输入分布。先假设最佳输入分布{q(0), q(1)} 满足q(0)0，q(1)0。因此 * * * * §4.2 离散无记忆信道 容易验证： q(1)0； q(0)+q(1)=1。需要验证： q(0)0。 * * §4.5 信道的组合 总设有如下两个DMC，分别称为信道1和信道2。 信道1的输入事件为全体x，共有K个输入事件； 信道1的输出事件为全体y，共有J个输出事件； 信道1的转移概率矩阵为[p1(y|x)]K×J； 信道1的信道容量为C1，最佳输入分布为{x, q1(x)}。 信道2的输入事件为全体u，共有N个输入事件； 信道2的输出事件为全体v，共有M个输出事件； 信道2的转移概率矩阵为[p2(v|u)]N×M； 信道2的信道容量为C2 ，最佳输入分布为{u, q2(u)}。 * * §4.5 信道的组合 定义4.5.1（p104） 信道的输入事件为全体(x, u)，共有KN个输入事件； 信道的输出事件为全体(y, v)，共有JM个输出事件； 转移概率矩阵为 [p((y, v)|(x, u))](KN)×(JM)， 其中p((y, v)|(x, u))= p1(y|x)p2(v|u)。 则称该信道为信道1与信道2的积信道。（又称该信道为信道1与信道2的独立并行信道） （在物理上，积信道是两个信道的并行使用） * * §4.5 信道的组合 定理4.5.1（p104） 积信道的 信道容量为C=C1+C2， 最佳输入分布为{(x, u), q(x, u)}，其中q(x, u)=q1(x)q2(u)。 证明 此时 * * §4.5 信道的组合 * * §4.5 信道的组合 * * §4.5 信道的组合 所以I((XU)=(xu); (YV))=I(X=x; Y)+I(U=u; V)。注意到 对任何满足q1(x) 0的x，I(X=x; Y)=C1； 对任何满足q1(x) =0的x，I(X=x; Y)≤C1； 对任何满足q2(u) 0的u，I(U=u; V)=C2 ； 对任何满足q2(u) =0的u，I(U=u; V)≤C2。 于是 对任何满足q1(x)q2(u)0的(xu)，I((XU)=(xu);