时序可变形对齐网络在超分辨率中应用研究.pdfVIP

TDAN：用于超分辨率的时序可变形对齐网络

122,31

,，,，付云,，和

123

大学计算机科学系东学电气与计算机工程系东

学计算机与信息科学学院

超-分辨率（VSR）旨在从其对应的低-分辨率

（LR）帧（参考帧）和多个相邻帧（支持帧）中重建

出-级感的高-分辨率（HR）帧。由于相HR双三次插值

机或物体的变化，参考帧与每个支持帧之间并不对

齐。因此，时-间对齐是VSR的一个具有性但

又重要的问题。以往的VSR方法通常利用参考帧与每个

支持帧之间的光-流来对支持帧进行时间对齐。因-此，

这些基于图像-级-的模型性能高度依赖于光流预测图1.WalkDUF[9]Ours

walk序列中某一帧的超分辨率（VSR）结果。我们可以

的准确性，而光流的确会导致支持帧后出现伪发现，与近期的DUF网络相比，我们的方法能够恢复更准确的图像

-影，并且这些伪影也会到重建的HR帧中。为结构和细节。

克服这一局限性，本文提出了一种时间可变形对齐网络

（TDAN），在不计算光流的情况下，自适应地在特征并且更受人类偏好。因此，VSR技术在许多实际应用中

-层面对参考帧与每个支持帧进行对齐。TDAN利用来都是必需的，例如和晰度电视（HDTV）。

自参考帧和每个支持帧的特征，动态预测采样卷-积核

为了对低分辨率（LR）参考帧进行超分辨率重建，

的偏移量。通过使用相应的核，TDAN将支持帧转换为

超分辨率（VSR）将同时利用LR参考帧和多个

与参考帧对齐的形式。为了预测HR帧，使用一个

LR支持帧。然而，由于相机或物体的，LR参考帧

重建网-络，该网络以对齐后的帧和参考帧作为输入。

和每个支持帧可能并不完全对齐。因此，VSR中的一

实验结果验证了所基于TDAN-的VSR模型的有效

个关键问题是如何将支持帧与参考帧对齐。

性。

先前的方法[3,17,27,32,22]通常利用光流来预测