[paper review]YOLOv1

date

Aug 3, 2023

slug

paper-review-yolov1

author

status

Public

You Only Look Once: Unified, Real-Time Object Detection

0. Abstract

YOLO라는 새로운 아이디어를 제안한다. 기존의 object detection 모델과 다르다. 기존의 object detection은 여러개의 분류를 수행하는 방법이었는데, YOLO는 한번에 대응되는 영역에 bounding box를 찾는 regression problem으로 문제를 해결했다. 단일한 neural network가 바운딩박스 위치와 클래스의 확률을 전체 이미지에 대해 한번에 평가하였다. end-to-end방식이다.

우리가 제안한 구조는 매우 빠르다. 초당 45장 이미지를 처리할 수 있다. 거의 real-time에 준하다. YOLO 백본을 경량화한 fast YOLO는 성능은 조금 떨어지지만, 초당 155장을 처리할 수 있다. YOLO는 다른 state-of-the-art detection 모델에 비해 localization error는 클 수 있지만, 배경에 대한 false positive는 작다.

YOLO는 범용적인 objection을 학습할 수 있다. DPM and R-CNN에 비해 더 좋은 성능을 보여준다. 일반적인 자연이미지 및 artwork에서도 잘 동작한다.

1. Introduction

사람은 이미지를 보면 한번에 어떤 필요한 부분을 파악할 수 있다. 그리고 사람의 비주얼 시스템은 대게 빠르고 정확하다. 복잡한 tast, 예를 운전을 한다거나 이런 것을 매우 적은 주의만 기울리고 수행할 수 있다.

그래서 만약에 우리가 정확하고 빠른 object detection model를 컴퓨터에 가르쳐 줄 수 있다면 컴퓨터는 운전과 같이 복잡한 문제도 추가적인 센서 데이터 없이 사람처럼 앞을 바라보고 그걸 토대로 운전같은 복잡한 것을 컴퓨터도 할 수 있게 될 것이다.

정리 : 이렇게 빠르고 정확한 object detection model을 컴퓨터에 알려 줄 수 있으면 많은 도움이 될 것이다.

현재 탐지 시스템은 분류기(classifier) 기반으로 탐지를 수행하였다. DPM도 분류기에 기반한 모델이다. 하나의 이미지가 들어오면 여러개의 bounding box를 만들고 그것에 대해 개별 분류를 통해 이루어 지기에 속도가 오래 걸렸다.

그 당시 최신 기법은 R-CNN는 먼저 후보군 bounding box를 만들고 classifier를 통해 처리하는 형태였다.

분류후, 중복되는 바운딩 박스를 제거하였다. 파이프라인이 매우느리고 최적화하기가 어려워서 문제가 있는 모델이었다.

우리는 object detection문제를 회귀문제로 바꾸고 이미지로 부터 바운딩박스 포지션을 바로 찾아내는 형태로 만들었다. class 확률도 바로 찾아내는 형태로 만들었다. YOLO는 이미지를 한번보고 처리한다고 해서 이런이름을 붙였다.

(06:02)

YOLO는 figure1처럼 전반전으로 input이미지가 들어오면 resize해서 cnn 넣을 수 있는 형태로 만든다음에 cnn에서 오브젝트디텍스를 안에서 수행하도록 만들었다. 그다음 non-max suppression을 수행한다.

매우간단하다. 논문에서는 448*448 사이즈로 resize했다.

YOLO는 통합된 모델이다. 몇가지 장점이 있다.

첫번째 장점은 매우 빠르다. YOLO는 Regression problem으로 한번 보면 한번만에 예측한다. R-CNN 경우는 region proposal로 2000를 그려서 2000장에 대한 분류를 해야되는데, 즉 1장에 대해 2000번의 분류를 해야된다.

Tian X GPU를 사용하면 초당 45장 처리 가능하고 fast 버전은 초당 150장 정도 객체 탐지를 할 수 있다.

동영상같은 곳에서 사용가능하다. 게다가 다른 모델에 비해 mean average precision도 좋다.

두번째 장점은 이미지를 한번에 결과를 만들어 낸다. 전체를 한번에 보기때문에 전체 이미지의 중요한 정보를 파악할 수 있다. 하지만 fast R-cnn은 백그라운 패치에 대해 실수 하는 경우가 많다. 그 이유는 bounding box를 부분적으로 보기 때문이다. 그러한 이유 때문에 fast R-CNN보다 좋다.

세번째는 YOLO는 일반화 성능이 매우 좋다. artwork(특수한 상황) 일반적인 이미지와 결이 다르다. 추후에 다른 부분에 응용을 하고 싶을 때에도 YOLO가 훨씬 효율적일 것이다.

YOLO는 SOTA모델에 비해 정확도는 떨어진다. 작은 object에 대해 성능이 떨어진다.

이 모든 과정을 open source로 오픈했다.

정리 : YOLO는 빠르고 통합적이고 간단한 모델이다 그리고 범용적으로 자연 이미지 뿐만아니라 다양한 상황에서도 동작한다. 하지만 작은 오브젝트를 찾는데는 기존 SOTA모델에 비해 성능이 약간 떨어진다.

2. Unified Detection

하나의 input이미지를 받아서, 그거에 대해 bounding box 예측을 한번에 하는 형태이다. 바운딩박스 포지션뿐만아니라 클래스에 대한 확률예측도 한번에 수행한다. 전체를 글로벌하게 한번에 보는 구조이다. end-to-end 학습이 가능하고 real-time speed이 가능하다.높은 예측 평균을 유지한다.

인풋이지미를 s*s grid로 쪼갠 뒤, grid cell 별로 b개의 bounding box를 만들고, 바운딩박스에 대한 confidence score를 같이 매칭시키고, confidence score는 모델이 해당 박스안에 object가 포함되어 있을 거라는 확신하는 정도를 나타낸다. 박스가 얼마나 정확한지 예측하는 지표이다. YOLO같은 경우는

(02:01)

object가 있을 확률 곱하기 IOU값이다.

cell내에 object가 없으면 confidence 가 0이 된다. 즉, confidence score는 predicted box과 ground box의 IOU과 같다.

개별 바운딩박스는 5개의 예측값을 도출한다. x,y,w,h,c 이다. (x,y)는 이미지바운딩 박스내의 object가 존재하는 센터값을 의미한다. (w,h)는 전체 이미지의 상대적인 width height를 의미한다. 마지막으로 confidence는 0에서 1사이 값을 나타낸다. predict에 대한 확신의 정도를 나타낸다.

개별 grid cell에서는 클래스에 대한 예측도 해야된다. YOLOv1에서는 class에 대한 예측을 바운딩 박스별로 예측하는 게 아니라, 그리드 셀별로 class probability map을 만들어서, 해당 그리드 셀에서 object class 예측에 대한 softmax regression vector를 가진다.

여기서 사용하는 각각의 요소들의 설정값이 있는데, 그리드를 몇개로 나눌 건지, bounding box를 몇개 예측할 건지, class

원논문에서는

(05:09)

2.1 Network Design

YOLO는 convolution neural network기반해서 객체인식 모델을 만든다. PASCAL VOC 데이터셋에서 성능을 평가했다. CNN앞부분에서는 feature extraction을 진행하고, 뒤에 부분에서는 fully connected layer로 YOLO에 맞는 형태로 출력한다 (확률및 좌표)

백본구조의 아이디어는 GoogLeNet model에서 차용을 했다. 총 24개 cnn layer와 2개 fully connected layer로 구성된 26 dense의 모델을 만들었다. 전체 네트워크 구조는 figure 3에 나타나있다.

fast YOLO는 9 convolution layer 와 더 적은 fiter로 구성했다.네트워크 사이즈 말고는 나머지 환경은 동일함.

최종 아웃풋은 7*7*30 tensor가 도출된다.

(02:24)

448 *448 resize input image

(다시보기)

2.2 Training

YOLO는 ImageNet 1000-class에 대해서 pre-trained model를 가져와서 이어서 학습을 진행하고 있다. 학습하는데 일주일 정도 걸렸다. 88% 정확도가 나오는 이미지 classification cnn을 만들었다. YOLO는 자체적인 c로 만들어진 Darknet 프레임워크로 학습을 시켰다.

이미지 분류에 맞게 학습된 cnn모델을 객체 탐지에 맞게 다시 학습을 시켰다.20개의 cnn에 추가적으로 4개의 convolutuon layer를 더하고 2개의 fullly connected layer를 더해서 학습을 진행했다. 개

6. Conclusion

통합된 객체 탐지 모델을 제안했다. 매우 간단하고 전체이미지에서 한번에 학습될 수 있다.

Fast YOLO는 빠른 속도로 처리할 수 있다. YOLO는 강건하고(rubust) 빠른 성능을 보여줄 수 있는 좋은 시스템이다.