[paper reivew] Resolution-robust Large Mask Inpainting with Fourier Convolutions

date

May 18, 2023

slug

Resolution-robust

author

status

Public

category

📑Paper Review

updatedAt

Sep 6, 2024 03:34 PM

arxiv.org

https://arxiv.org/pdf/2109.07161

Abstract

현대의 이미지 인페인팅 시스템의 문제

대규모 누락

복합한 사진

고해상도 이미지

인페인팅 네트워크와 손실함수에 모두 효율적인 receptive field가 부족하기 때문

receptive field

출력 레이어의 뉴런 하나에 영향을 미치는 입력 뉴런들의 공간 크기

LaMa 제안

FFC를 사용하여 이미지 전반에 대한 receptive field를 가지는 새로운 inpainting network 구조

high receptive field perceptual loss

large training masks

B. Introduction

대형 마스크가 존재하는 문제의 경우 receptive field가 해당 마스크 크기 이상의 구조를 이해하고 있어야 inpainting을 생성할 수 있지만, popular convolutional architecture들이 그 정도로 큰 receptive field를 가지고 있지 않음.

해결 방안

FFC를 사용하여 이미지 전반에 대한 receptive field를 가지는 새로운 inpainting network 구조

high receptive field perceptual loss

large training masks

contribution

저해상도 데이터에 대한 교육만으로 고해상도 이미지를 일반화 할 수 있음

complex periodic sructures를 생성할 수 있음

대형 마스크에 robust 함

적은 파라미터로도 달성 가능하기에 베이스라인들에 비해 추론 시간이 짧음

C. Method

x : color image

m : unknown pixels (mask)

x⊙m : masked image

마스크된 이미지 마스크를 쌓아 만든 4채널 입력텐서 : x'=stack(x⊙m,m)

feed-forward inpainting network (generator) : fθ()

x'를 넣으면, fully-convolutional 방법으로 처리하고, 합성된 3채널 color image인 x_hat = fθ(x')을 생성

실제이미지와 합성 이미지의 쌍에 대해 학습 수행

C-1. Global context within early layers

resnet 같은 fully-convolutional model들은 네트워크의 초기 계층에 사용되는 3x3과 같은 작은 커널 때문에 많은 층에서 global context가 부족하고, 이를 생성하기 위해 많은 계산과 parameter가 낭비됨

특히 고해상도 이미지에서 두드러짐

fast fourier convolution은 초기 계층에서 global context 사용 가능

FFC

local branch는 기존의 convolution을 사용

global branch는 FFT 사용

global branch의 목적은 초기 계층에서 global context를 고려하기 위함
FFT를 통해 spatial domain의 정보를 spectral domain으로 바꾸면, global context가 고려됨 (FFT는 시간축에서의 파형을 주파수축에서 보도록 변형)\
순서