다층 신경망 기반의 단일 영상 디블러링 기법 연구

Abstract

본 논문은 MIMOUNet 구조를 기반으로 하는 단일 영상 디블러링 네트워크를 해석하여 MIMOUNet 보다 더 깊은 다층 구조를 갖는 새로운 네트워크인 QuadIOUNet, PentaIOUNet, PentaIOUNet+를 제안한다. 이들 네트워크들은 MIMOUNet의 3층 깊이를 기반으로 새로운 4층과 5층을 추가하여 구성하였으며, 특히 PentaIOUNet+는 Concatenation- Plus를 도입하여 연산량을 증가시키지 않으면서 기존 성능을 향상시킬 수 있다. 먼저 Deep-Deblur, PSSNSC, MTRNN, MIMOUnet와 같은 관련 연구에 대해 소개하고, MIMOUNet 에서 사용한 MISE(Multi-Input Single Encoder), MOSD(Multi-Output Single Decode), AFF(Asymmetric Feature Fusion), SCM(Shallow Convolutional Module)를 해석하여 다층 구조에 맞게 수정한 기법 및 추가로 Concatenation-Plus를 소개한다. 실험결과에서는 Deep-Deblur, PSSNSC, MTRNN, SRN, DMPHN, SAPHN과 같은 관련 연구에서 명시된 GoPro Test Dataset 평균 PSNR과 SSIM 값을 비교한다. 또한 MIMOUNet과 새로운 네트워크 간의 PSNR, SSIM, LPIPS, Runtime을 비교하며, 육안으로 이미지를 비교하여 정성적인 결과를 확인한다. 이를 통해서 QuadIOUNet, PentaIOUNet, PentaIOUNet+이 기존 MIMOUNet 네트워크보다 성능이 향상됨을 확인하였다.