초해상도 영상 생성을 위한 메모리 효율적인 신경망 구조 연구

Abstract

영상을 제작하고 표현해 주는 장치들이 고해상도로 높아짐에 따라서 저해상도(LR, Low-Resolution) 영상을 고해상도(HR, High-Resolution) 영상으로 확대하는 _x000D_ <br>업스케일링(Upscaling) 기술이 필요하다. Bicubic interpolation과 같은 기존의 전통적인 보간 방식은 영상을 업스케일링하면서 영상 신호의 손실이 많아 화질의 _x000D_ <br>저하가 많이 발생한다. _x000D_ <br> 딥러닝(Deep Learning) 기법들이 진화하면서 딥러닝 기반으로 저해상도 영상을 업스케일링하여 인간의 시각적으로 선명한 고해상도 영상으로 변환해 주는 알고리즘 _x000D_ <br>또는 Model을 초해상도(SR, Super-Resolution)라고 불린다. 이 초해상도 알고리즘은 의료, 방송, CCTV, 군사, 위성 등 다양한 산업의 영상 분야에서 매우 _x000D_ <br>광범위하게 사용될 수 있다._x000D_ <br> 초해상도 알고리즘은 Image의 특징을 추출하기 위해 Feature map channels(FMCs)을 생성하는 Block과 생성된 FMCs을 사용하여 업스케일링하는 두 가지 _x000D_ <br>Block이 있다. 기존의 알고리즘들은 FMCs를 생성하기 위한 Block에서 잘 알려진 알고리즘의 Network의 일부만을 수정하여 사용하거나 FMCs을 사용하여 _x000D_ <br>업스케일링하는 Block에서는 상당히 큰 Memory 용량을 사용하고 있다. _x000D_ <br> 본 논문에서는 Image의 특징을 추출하기 위해 FMCs을 생성하는 Block에서 사용할 수 있는 Advanced Memory-efficient Network(AMNET)이라는 새로운_x000D_ <br>Network를 제안한다. 초해상도 알고리즘에서 널리 사용되는 Benchmark와 DIV2K[4] Dataset에 대해서 다양한 실험을 통해 제안한 방법을 평가하였고_x000D_ <br>Memory 사용량을 감소시키면서 일부 Dataset에서 PSNR과 SSIM[6] 등의 평가 성능이 개선되는 결과를 검증하였다.