电工胶布使用方法.ppt

信息论与编码基础 离散信道 一、信道的数学模型与分类 二、信道疑义度与平均互信息 三、平均互信息的性质 四、离散无记忆的扩展信道 五、信道容量 六、信源与信道的匹配 信息论与编码基础 离散信道 1、信道模型 信道 信道 离散无记忆N次扩展信道模型 信道转移矩阵 其中 信息论与编码基础 离散信道 1、信道模型 BSC的二次扩展信道 信息论与编码基础 离散信道 2、平均互信息 a)定义 bit/N-sign b)性质 引理3.1 设信道的输入输出分别为 ，其中 ，则： 仅当信道无记忆时等式成立。 信息论与编码基础 离散信道 2、平均互信息 信息论与编码基础 离散信道 2、平均互信息 b)性质 仅当 时成立 信息论与编码基础 离散信道 定理3.1 对于离散无记忆信道，有 2、平均互信息 证明： b)性质 信息论与编码基础 离散信道 例1 DMC的输入为 ，输出为 且有 。其中X的熵为H, 计算 和 信息论与编码基础 离散信道 定理3.2 对于无记忆信源，则 2、平均互信息 b)性质 证明： 仅当 时成立 信息论与编码基础 离散信道 例 设无记忆信源X的熵为H，X的5次扩展源为 信道为如下面矩阵所示的置换信道 4 1 5 2 3 5 4 3 2 1 计算 信息论与编码基础 离散信道 总结： 1）当信源无记忆时 2）当信道无记忆时 3）当信源、信道均无记忆时 信息论与编码基础 离散信道 D Q D Q D Q a(t) b0 b1 b2 思考题 假定某信源的符号集为A = {0,1}，其中p0=p1=0.5，则H(A) = 1。令编码器C的符号集为B = {0,1,…,7}，并且假定B中的元素采用二进制形式表示(b2b1b0)。如果输入序列为 a(t) = {101001011000001100111011} 并且寄存器的初始值为b = 5(=101)，求输出序列。 如果将该编码器看成一个信道，请讨论该信道的转移特性及平均互信息。 信息论与编码基础 离散信道 一、信道模型及分类 二、信道疑义度与平均互信息 三、平均互信息的性质 四、离散无记忆的扩展信道 五、信道容量 六、信源与信道的匹配 信息论与编码基础 离散信道 平均互信息I(X;Y)代表了接收到每个输出符号后获 得的关于X的平均信息量，又叫做信道的信息传输率。 定理3.1 在信道转移概率 给定的条件下，平均互信息 是输入信源概率分布 的 型凸函数。 信息论与编码基础 离散信道 1、定义 一个平稳离散无记忆信道的容量C为输入与输出平均 互信息 的最大值。 说明： bit/sign 1）信道给定后，p(y|x)就固定，C仅与p(y|x)有关，而与P(x)无关 2）C是信道传输的最大信息率。 Ct = C/t bit/s 信息论与编码基础 离散信道 2、简单离散信道的信道容量 信道 a、无噪无损信道 信息论与编码基础 离散信道 b、有噪无损信道 2、简单离散信道的信道容量 信息论与编码基础 离散信道 c、有损无噪信道 2、简单离散信道的信道容量 信息论与编码基础 离散信道 总结： 1）若严格区分，凡损失熵等于0的信道称为无损信道； 凡噪声熵等于0的信道称为无噪信道。 2）无损信道 3）无噪信道 2、简单离散信道的信道容量 信息论与编码基础 离散信道 例 求BEC的信道容量 信息论与编码基础 离散信道 3、对称信道的信道容量 ？ 信息论与编码基础 离散信道 3、对称信道的信道容量 ？ 信息论与编码基础 离散信道 例1 强对称信道 信息论与编码基础 离散信道 4、离散无记忆N次扩展信道的信道容量 达到的条件：只有当信源无记忆时，每一输入变量Xi的分布P(x) 各自达到最佳分布时。 信息论与编码基础 离散信道 有噪声的打字机信道 考虑26个键的打字机 1）如果每敲击一个键，它就准确地输出相应的字符， 那么该容量C是多少？ 2）如果假设敲击一个键都会导致输出该键对应的字母 或者下一个字母等概率出现，即敲A可能输出A或B，… 敲Z可能输出Z或A。那么此时的容量如何？ 信息论与编码基础 离散信道 附：香农信道容量公式 1、连续消息的信息度量 连续信源的可能取值数是无限多个，若设取值是等概 率分布，那么，信源的不确定为无限大。 连续信源的熵 1）与离散信源的熵在形式上统一； 2）实际问题中常常讨论熵之间差值问题。 差熵 高斯分布情况 信息论与编码基础 离散信道 东莞电工培训 /training-215.html 信息论与编码基础 离散信道 一、信道模型及分类 二、信道疑义度与平均互信息 三、平均互信息的性质 四、离散无记忆的扩展信道 五、信道容量 六、信源与信道的匹配 信息论与编码基础 离