第3章 信道和信道容量.ppt

* 高斯加性信道所传输信号的带宽B=3kHz，最大信息传输速率Ct=1.5×104bps，求信噪功率比；如果将信噪功率比降低到-3dB，求保持同样最大信息传输速率所需的带宽 例1 * * 习题：(P102)3.19、3.20 * 七、多符号连续信道及信道容量 1、多符号连续信道 定义 对应于多符号连续信源和多符号连续信宿的信道 表示 信源——连续型随机过程X1X2…XN 信宿——连续型随机过程Y1Y2…YN * 随机过程X1X2…XN的取值x1x2…xN为信源发出的消息 随机过程Y1Y2…YN的取值y1y2…yN为信宿收到的消息 * X1X2…XN p(y1y2…yN/x1x2…xN) Y1Y2…YN p(y1y2…yN/x1x2…xN)为信道转移概率密度函数 2、N维连续平稳信道 定义 多符号连续信道对任意两个不同时间起点k和l，其转移概率密度函数及直到N维的各维联合转移概率密度函数都相同 * 取l=1，N维连续平稳信道 3、N维连续平稳无记忆信道 定义 N维连续平稳信道的符号序列中各符号相互独立 * 表示 N维连续平稳无记忆信道形式上相当于单符号连续信道的N次扩展信道 N次扩展信道——对应于N次扩展信源和N次扩展信宿的信道 4、高斯加性信道的N次扩展信道 * 5、高斯加性信道N次扩展信道的信道容量 6、高斯加性信道N次扩展信道的最大信息传输速率 * 按列分成两个不相交的子集后，两个子集构成的子矩阵 都列可排列，所表示的信道为准对称信道 * 信道容量 * 达到信道容量的信源概率分布 * 四、N次扩展信道及信道容量 1、多符号离散信道 定义 对应于多符号离散信源和多符号离散信宿的信道 表示 信源——离散型随机过程X1X2…XN 信宿——离散型随机过程Y1Y2…YN * * X1X2…XN P(Y1Y2…YN/X1X2…XN) Y1Y2…YN * 2、N维离散平稳信道 定义 多符号离散信道对任意两个不同时间起点k和l，其转移概率分布及直到N维的各维联合转移概率分布都相同 取l=1，N维离散平稳信道 * 3、N维离散平稳无记忆信道DMC 定义 N维离散平稳信道的符号序列中各符号相互独立 表示 * N维离散平稳无记忆信道形式上相当于单符号离散信道的N次扩展信道 N次扩展信道——对应于N次扩展信源和N次扩展信宿的信道 * 4、N次扩展信道的信道容量 * BSC的信道矩阵 二次扩展信道的信道矩阵 二次扩展信道的信道矩阵和信道容量 例1 * 二次扩展信道的信道容量 习题：(P99-101)3.7、3.15 * 五、单符号连续信道及信道容量 1、单符号连续信道 定义 对应于单符号连续信源和单符号连续信宿的信道 表示 信源——连续型随机变量X 信宿——连续型随机变量Y * 随机变量X的取值x为信源发出的消息 随机变量Y的取值y为信宿收到的消息 X p(y/x) Y * 2、单符号连续信道的噪声熵 ①绝对噪声熵 p(y/x)为信道转移概率密度函数 * ②相对噪声熵 表示 * 3、平均互信息量 相对熵不能作为信息度量，平均互信息量作为熵差，具有信息度量的意义 * 4、平均互信息量的主要性质 ① 对称性 ② 非负性 * * ③ 严格凸函数性 信道固定时，I(X;Y)是信源概率密度函数p(x)的严格上凸函数 信源固定时，I(X;Y)是信道转移概率密度函数p(y/x)的严格下凸函数 * 5、信道容量与最大信息传输速率 信道固定时，平均互信息量是信源概率密度函数p(x)的严格上凸函数，总能找到一种信源概率密度函数p(x)，使信道中传输的平均互信息量达到最大 定义 信道转移概率密度函数p(y/x)不变时平均互信息量的最大值，用C表示 * 表示 连续信道习惯于考虑信道在单位时间内平均互信息量的最大值——最大信息传输速率 定义 单位时间的信道容量，用Ct表示 * 其中T为平均传输一条消息所需的时间 最大信息传输速率的单位为bit/sec(bps) 表示 * 六、高斯加性信道及信道容量 1、高斯加性信道 加性噪声——信道中噪声与信号相互独立且对信号的作用表现为线性叠加 定义 * 表示 X Y=X+N N X的概率密度函数为p(x)，Y的概率密度函数为p(y)，N的概率密度函数为p(n) * 2、高斯加性信道的相对噪声熵 相应的雅可比行列式 * * 3、高斯加性信道的信道容量 根据平均功率受限下的最大相对熵定理，信宿具有最大相对熵 * 高斯加性信道的信道容量 * 4、高斯加性信道的最大信息传输速率 如果所传输信号的带宽为B，根据采样定理，不失真传输一条消息的最小时间T=1/2B 高斯加性信道的最大信息传输速率——香农公式 * 香农公式的意义 最大信息传输速率与所传输信号的带宽成正比，基本与信噪功率比成正比 信噪功率比小于1时最大信息传输速率仍大于0 所传输信号的带