[paper review] CLIP : Learning Transferable Visual Models From Natural Language Supervision

date

Sep 23, 2023

slug

clip

author

status

Public

Introduction

자연어처리 분야에서 text-to-text Transformer를 기반으로 한 언어 모델들은 대용량의 크롤링 데이터를 사전 학습에 활용하여 비약적인 발전을 가져왔습니다.

반면, 컴퓨터 비전에서는 아직 imagenet과 같은 crowd-labeled dataset을 활용한 사전 학습 모델들이 주를 이루고 있습니다.

본 논문은 컴퓨터 비전 분야에서도 대용량 크롤링 데이터를 활용한 사전 학습을 진행할 수 있도록 image,text multi-modal 구조인 CLIP 모델을 제안하고 있습니다.

본 논문의 contribution은 다음과 같습니다.

학습 과정은 간단합니다.

이미지와 이미지에 대한 raw text pair를 사용하여 각각의 인코더를 Contrastive learning을 통해 학습 시킵니다. 인코더는 아래의 모델을 사용합니다.

text encoder : c-bow or Transformer

Image encoder : ResNet or Vision Transformer

아시다시피, Contrastive learning은 positive set에 대해서는 서로 cosine 유사도를 높이고,

negative set에 대해서는 서로 cosine 유사도를 낮추는 형태로 학습이 진행됩니다.

이 때, symmetric loss를 위해 axis 1, axis 0에서 모두 loss값을 계산해줍니다.

<그림 2>의 pseudocode를 통해서도 이를 확인할 수 있습니다.

만약 N개의 (image,text) pair가 batch로 들어온다면, NxN의 가능한 prediction pair 중, 개의 positive pair와 개의 negative pair가 발생할것 입니다. <그림 1>을 참고하세요~!

Contrastive learning의 효율성은 아래의 # of trained images(x) , Zero-shot acc(y) 그래프를 통해서도 확인할 수 있습니다.

Zero-shot task에서 매우 큰 성능 향상을 가져왔습니다.

기존 supervised baseline을 일부 benchmark에서 뛰어넘는 성능을 보였습니다.