fsrcnn全英文版读书报告.pptVIP

读书报告 CVPR2015 ECCV2016 一、用深度卷积网络实现图像超分辨 特征提取和表达： 非线性映射： 重构： n1个卷积核 c个通道 n2个卷积核 n1个通道 c个卷积核 n2个通道 先用双三次插值来上采样低分辨图 与基于稀疏编码之间的关系 典型基本设置为： SRCNN高分辨像素携带的像素信息是 优于稀疏编码的 训练过程 所需的网络参数 参数是由最小化损失函数 获得 ，其中n是训练样本数 损失函数由标准的反向传播网络使用随机梯度下降法来最小化， 权值参数矩阵由 来更新，其中 表示第l层，i表示迭代次数，η 表示学习速率，一二两层为 ，最后一层为 ，经验认为最后一层学习速率越小越容易收敛。 实验 二、加速超分辨卷积神经网络 SRCNN处理尺寸大的图像速度较慢 例如：用SRCNN方法通过3倍上采样240*240分辨率的图像，速度为1.32fps,远低于人眼所能分辨的实时速度24fps，所以需要在保持性能不受影响的条件下加快超分辨速度至少17倍。 如果简单的减少参量会严重影响性能。 这里有两个内在的限制运行速度。 1，原始低分辨图像需要用双三次内插的方法上采样来得到输入图像，计算量随高分辨图像的尺寸二次增长，即n倍扩增，插值后的计算量是低分辨的n2倍 2，非线性映射中，输入图像块投影到高维LR特征空间，然后映射到另一个高维HR特征空间，随着映射层宽度n的增加，映射精度有实质性的提高，但计算量和运行时间也增加 需要一个更精简有效的网络结构 计算量：SRCNN 解决 1，引入反卷积取代双三次插值，反卷积层在最后一层以减小计算量 反卷积不是简单的等于反池化+卷积，而是由多种自动学习的上采样核共同生成最终的HR图像，如果将这些不同的反卷积核换成统一的内插核，PSNR会下降很多（0.9db） 2，在开头和结尾分别增加一个收缩层和扩张层将映射限制在低维特征空间，然后将一个宽的层分解为多个3*3的滤波器。 微调反卷积层就可以实现不同系数的上采样 计算量： SRCNN：图像特征提取和表达——非线性映射——聚合 FSRCNN：图像特征提取——收缩层以减少维度（d—s）——非线性映射m个3*3*s卷积——扩展层以提高性能（1,d,s）——反卷积层上采样并且聚合前面的特征(不同的特征图反卷积核不一样) 训练 代价函数： 表示第i层低分辨图像， 表示第i层高分辨子图像 网络输出 实验