[paper review] Fully Convolutional Networks for Semantic Segmentation

date

Sep 6, 2023

slug

fcn

author

status

Public

Introduction

임의의 사이즈의 이미지를 input으로 넣었을 때, 동일한 사이즈의 output이 나오도록 FCN(fully convolutional network)를 구성하여 사용함.

이전의 fully connected layer는 한계점이 있었음. 첫번째 이미지의 위치 정보가 사라지고, 두 번째는 입력 이미지의 크기가 고정적이다.

pixel 단위의 예측을 위한 최초의 end-to-end 방식잊자 지도 사전학습(pretrained)을 활용함. 기존의 network에서는 dense한 형태의 아웃풋이 나오나, 본 논문에서는 동일한 사이즈의 아웃풋을 리턴하기 위해 upsamping 기법을 활용함.. (image에 대한 전처리 후처리 필요 x)

fully convolutional networks

adapting classificer for dense prediction

LeNet, AlexNet등은 architecture의 끝 부분에 FC layer가 있어서 공간 정보를 담지 못하고 output이 생성된다. (FC layer는 fixed dimensions을 가지고, spatial coordinates을 버림)

segmentation의 경우 공간 정보를 유지하며, pixel단위로 예측해야하므로, 1*1 conv2d를 활용, spatial dimension이 나오도록 함

FCN의 경우 전체 이미지를 활용, effective computational

shift-and-stitich is filter rarefaction

output으로부터, dense prediction을 얻는 방법

pooling kernel의 size나 stride의 감소 없이도 padding방식을 다양하게 하여 dense prediction을 만들 수 있으나, receptive field가 작을수록, lineargks정보를 얻기에는 제한적일 수 있음…..(이해 못함)

upsampling is backwards strided convolution

Interpolation

주어진 값들 사이의 값을 linear하게 추정

오른쪽 이미지처럼 2d확장, x, y좌표 구할 수 이뜸..

저해상도의 이미지를 고해상도의 이미지로 확장할 때, 비어있는 중간값을 유추할 수 있음.

Deconvolution

deconvolutuon은 convolution의 역연산

patchwise training is loss sampling

patchwise방식으로 학습할 경우, patch들 간에 겹치는 부분이 많음, 불필요한 연산량이 많아진다.

segmentation architecture

FCN은 downsampling을 하는 encoder부분과 upsamping하는 decoder하는 부분으로 구성되어 있음.

downsampling은 기존 cnn구조와 동일, pretrained model사용

loss function은 각 pixel마다 multinomial logistic loss사용

conclusion

FCN는 기존의 딥러닝 기반 이미지 분류를 위해 segmetation에 맞게 모델을 변경 후, transer learning을 진행

convolutional 모델을 통해, 예측된 coarse map을 원본 이미지사이즈와 같이 세밀하게 만들기 위해 up-sampling을 진행

DNN에서 얕은 층의 local정보와 깊은 층의 semantic정보를 결합하는 skip architecture를 통하여, 보다 정교한 segmentation결과를 얻을 수 있음.