基于帧内迭代循环神网络去模糊方法研究.pdfVIP

基于帧内迭代的循环神经网络用于去模糊

朴素俊南相贤

韩国首尔大学ECE系，ASRIseungjun.nah@.com,{

thstkdgus35,kyoungmu}@snu.ac.kr

需要在不知道空间变化的信息或局部模糊核的情

况下恢复清晰的帧。此外，性通常会导

循环神经网络（RNN）被广泛用于序列数据处理。

致具有不同强度和类型的严重模糊。

最先进的去模糊方法依赖于卷积循环神经网

络结构，以利用相邻帧之间的时间关系。在本研究中，在去模糊任务中，分析连续帧之间的相关信息以

及目标帧的信息至关重要。近年来基于深度神经网络

我们旨在通过改进从过去帧传递到当前处理帧的隐藏状

的方法中，已有多种卷积神经网络（CNN）和循环神经

态，以更好地利用帧之间的关系，从而提高循环模

网络（RNN）的结构被提出以融合时间信息。Su等人

型的准确性。我们在预测输出的去模糊帧之前，通过重

[34]提出了一种两阶段方法来处理帧间大幅导致的错

复使用RNN单元参数来迭代更新隐藏状态。由于我们使

位问题，并融合帧间信息。该方法首先通过单应性变换

用现有参数来更新隐藏状态，因此我们的方法在不引入

homography）或光流对一帧序列在空间上对齐到中

（

额外模块的情况下提高了准确性。由于无论迭代次数如

间帧，然后将这些帧输入到一个卷积神经网络中以获得去

何，网络结构保持不变，因此较少迭代次数的模型可以

模糊的中间帧。另一方面，Wieschollek等人[39]和

被视为较多迭代次数模型的部分计算路径。为了利用这Kim等人[18]提出了可处理任意长度的循环网络结

一特性，我们采用了一种随机方法以更好地优化迭代模构。虽然[39]通过简单特征的方式利用过去帧的信

型。在训练过程中，我们动态随机选择迭代次数，并施息，[18]则提出了一种基于快速RNN的动态时间融合模

加一种正则化损失，该损失在重建增益不显著时倾向于块。该模块将来自过去帧的隐藏状态与当前帧的特征进行

更少的计算量。我们证明了我们的方法在保持实时处理融合，从而通过隐藏状态传递时间信息。

速度的同时，实现了最先进的去模糊性能。

这些基于神经网络的方法主要关注如何利用相邻

帧中的相关信息来恢复目标帧，并取得了显著的提升。

然而，这些方法尝试在单一步骤操作中处理时序关系，

1.引言这可能并非最优。传统上，从多帧中估计信息或模

在动态环境中拍摄的通常在发生相对的糊核的难度通过迭代估计步骤[44,41,17,1,31]得以

区域包含模糊。手持设备在拍摄过程中更容易发