信息理论编码课程PPT 第3章 信道.ppt

第三章 信道模型和信道容量 信息理论与编码 第3章 信道模型和信道容量 主要内容 离散无记忆信道（DMC）的数学模型与信道容量定义 离散无噪信道的信道容量 离散对称信道的信道容量 一般DMC达到信道容量的充要条件 扩展信道的数学模型与信道容量 离散信道的组合 连续信道及其信道容量 波形信道及其信道容量 各节内容 3.1 信道模型与信道分类 3.2 离散无记忆信道的数学模型 3.3 概率的计算问题 3.4 信道的疑义度、散布度和平均互信息 3.5 信道容量 3.6 扩展信道及其信道容量 3.7 信道的组合 3.8 信源与信道的匹配 3.9 连续信道及其信道容量 3.10 波形信道及其信道容量 3.1 信道模型与信道分类 主要内容 信道模型 信道分类方法与类别 1、信道模型 一些DMC线图 3.3 概率的计算问题 输入概率矩阵： 3.4 信道的疑义度、散布度和平均互信息 1 信道的疑义度 H(X|Y)：信道的疑义度 无损信道：损失熵为0的信道。 2 信道的散布度 H(Y|X)：信道的散布度或噪声熵。 确定信道：噪声熵为0的信道。 3 信道的平均互信息 I(X;Y)是输入概率PX={P(ai)}i和转移概率PY|X={P(bj|ai)}i,j的函数。 记I(X;Y) =I(PX , PY|X )。 平均互信息量的凸状性质： 定理1 若信道给定（即给定PY|X），那么I(PX , PY|X )是输入概率PX的上凸函数。 定理2 若信源给定（即给定PX），那么I(PX , PY|X )是转移概率PY|X的下凸函数。 例：平均互信息量的凸状性质 3.5 设有一批电阻，按阻值分:70%是2KΩ，30%是5KΩ；按功率分：64%是1/8W,其余是1/4W。现已知2KΩ阻值的电阻中80%是1/8W。问通过测量阻值可以平均得到的关于瓦数的信息量是多少？ 3.5 信道容量C 通常，衡量一个信息传递系统的好坏，有两个主要指标： （1）数量（速度）指标：信息（传输）率R，即信道中平均每个符号传递的信息量； （2）质量指标：平均差错率Pe，即对信道输出符号进行译码的平均错误概率。 我们总是希望信道传输信息时速度快、错误少，即R尽量大而Pe 尽量小。 信息率能大到什么程度？这就是信道容量问题。 1 信道容量的定义 信道的信息率R，就是信道的平均互信息量： 关于信道容量的几点注释 2 离散无噪信道的信道容量 (2)确定信道：噪声熵为0的信道 (3)无损确定信道：损失熵和噪声熵均为0的信道 3 离散对称信道 要判断一个信道是否为离散准对称信道，必须对该信道的转移矩阵进行适当的调整，即按列重排，再按列分块； 对转移矩阵调整的过程，就是定义中所说的将转移矩阵的列划分成子集再组成子阵的过程； 转移矩阵的列与输出符号对应，把列划分成互不相交的子集，相当于把信道的输出符号划分成互不相交的子集。 （2）离散对称信道的信道容量 例：r进制均匀信道的信道容量 （3）离散准对称信道的信道容量 例 求2进制删除信道(BEC)的信道容量 （4）一般DMC信道容量解的充要条件 例：一般DMC的信道容量 设信道转移矩阵为 3.6 扩展信道及其信道容量 2 扩展信道的平均互信息量和信道容量 3.7 信道的组合 信息不增性原理 2 独立并联信道 3.8 信源与信道的匹配 习题 3.9 连续信道及其信道容量 连续信道：时间离散、幅值连续信道的简称。 连续信道与离散信道的不同点：连续信道的输入和输出都是定义在整个实域R或R的某个子集上的连续型随机变量。 本节内容：连续信道的数学模型、平均互信息量以及信道容量。 有很多结果与离散信道类似，只是将概率改为概率密度函数、将求和改为积分而已。 1 连续信道的数学模型 2 连续信道的平均互信息量和信道容量 3 加性噪声信道 4 加性噪声信道的信道容量 5 加性高斯噪声信道的信道容量 求加性高斯噪声信道的信道容量：步骤（一） 步骤（二） 步骤（三） 6 最有害的噪声 7 一般加性噪声信道的信道容量的界 高斯分布随机变量的熵 求熵时要注意计算技巧，注意使用以下两式： 3.10 波形信道（waveform channel）及其信道容量 2. 限带、加性高斯白噪声信道 波形信道是无穷维连续信道，信道容量的一般性研究在数学上存在相当大的困难。 限带、加性高斯白噪声信道是一种简单的波形信道，对该信道的研究在理论与实用上都有很大意义。 （2）限带高斯白噪声 噪声按其功率谱密度的性质可分为2类：白噪声和有色噪声。 如果噪声的功率谱密度在整个频域内呈均匀分布，则称其为白噪声，反之则为有色噪声。 “白”的含意是由光学概念引申而来，因为光学中白光在整个可