[paper review] Going deeper with convolutions

date

Jul 15, 2023

slug

going-deeper

author

status

Public

category

📑Paper Review

updatedAt

Sep 6, 2024 03:18 PM

arxiv.org

https://arxiv.org/pdf/1409.4842.pdf

wide한 net보다는 deep한게 더 좋음

conv layer의 채널수를 늘리는 것도 wide 측면인가 deep 측면인가.. 내가 볼때는 wide 같음

dense 하다 : MLP와 같이 input node가 output node에 fully connected 되어있다.

sparse하다 : conv layer처럼 혹은 drop out?? 처럼 fully connect 되어있지 않은 상태. 몇몇은 연결이 안된…

filter 내에서 별 특징이 없는 노드들(weigh가 0에 가까운)을 제외하고 특징이 강한 애들만 학습시키는 방법은 없나?? 노드 단위로 골라내는게 쉽지 않을듯.. 그래서 저자는 group화(filter 단위) 해서 dense connect에 집어넣은거고.. 가능하다고 해도 그렇게 학습되면 overfitting 될 것 같다.. 특징이 없는 node들은 정말 무쓸모는 아닐 것 같다…

layer를 쌓아나가는 방식이 최적의 방식인가?? 진짜 뉴런(사람 머리)도 이렇게 작동하나?? 아니면 graph처럼 얽히고 설켜서 모든 뉴런이 다 연결되어 있고 동시에 모든 뉴런이 update되는거 아닌가(그러면 gradient vanishing 문제는 없을듯)? 우리는 그런 모델을 만들 수 있나??

GoogLeNet (Inception v1)

Introduction

- ILSVRC 2014(ImageNet Large-Scale Visual Recognition Challenge) VGGNET을 간소한 차이로 이기고 winner

- 이러한 성과는 bigger model, hardware이 아니라 new idea, algorithms, network architecture 덕분에 이룰수 있었다.

- 적은 parameter로 좋은 성능을 낼 수 있었다.

- 점점 많은 레이어, 더 큰 레이어 사이즈가 과거 트렌드였다.

related work

- LeNet-5 : 이 모델부터 CNN이 비전분야의 standard가 되었다.

- Serre 논문 : (Inception model과 유사하게) 시각 피질(visual cortex) 신경과학 모델(neuroscience)의 영감을 받은 Serre는 multiple scale을 handle 하기 위해서 다양한 사이즈의 Gabor filter를 사용하였다.

* Gabor filter : 선형필터로서 사람의 시각체계와 비슷하게 작동하는 필터이며 이미지의 특정방향의 성분을 찾아내기 위해 사용

- Network in Network : 저자는 N-in-N 영감을 받아서 1 × 1 conv layer를 도입했다.

* 1 × 1 conv layer의 목적 2가지

** computational bottleneck을 제거하기 위한 차원 축소 모듈

** 성능저하 없이 depth 및 width를 늘려주는 효과 : 차원을 축소하더라도 성능저하가 크게 나지 않는 이유 : conv는 합성곱 이후에 비선형성을 더해주는데(activation func) 이는 합성곱 하기 전에 node들의 비선형성을 가해주지는 않음..그러나 1 × 1 conv layer는 node마다 비선형성을 가해줄 수 있음(fully connect 한다음 activation func을 통과)

- RCNN : 2 stage 방식 object detection. 저자는 multi box prediction과 bbox proposal 앙상블 approache 적용으로 조금더 개선하였음

motivation and high level considerations

- 단순하게 생각하면 DNN 성능을 좋게 하기 위해서는 large model with large dataset 하면 되겠지만 단점이 2가지 있다. 무한정 사이즈(많은 parameter)를 키운다고 능사가 아니다.

- 만약 training set이 적다면 바로 오버피팅

- 그리고 computational resource의 한계. 만약 2개의 연결된 layer에서 uniform하게 필터수를 늘리면 제곱으로 computation이 증가한다. weight가 0에 가까운 parameter들이 많으면 그건 computation이 비효율적으로 사용되고 있다는 것이다.

- 이를 해결하기 위해서는 합성곱 내부에서도 fully connected를 sparsely conncected로 변경해야한다. Arora의 논문에서 소개한 이론은 확고한 이점을 가지고 있다. dataset의 확률분포가 large and sparse한 DNN으로 표현가능하다면 입력층의 뉴런과 출력층의 뉴런 간의 상관관계를 통계적으로 분석하여 최적의 network를 구축할 수 있다.

왼쪽은 Sparse, 오른쪽은 dense

- 이러한 수학적 증명은 strong한 조건을 만족해야 한다. 그러나 Hebbian principle(뉴런A가 B를 지속적으로 fire(salivation signal on)하게 되면 B에 대한 A의 weight가 증가한다)의 내재된 개념은 less strict한 조건에도 적용이 된다.

- 그러나 요즘의 computing 인프라는 non-uniform sparse data를 계산하는데 비효율적이다. 100배 이상 산술 계산이 줄어들어도 lookup 비용, cache miss는 sparse matrix로 변경해서 계산하는 거를 상쇄 pay off 하지 못한다. 꾸준히 개선되고, highly tuned, numerical library이 사용되어 CPU나 GPU 하드웨어를 exploit 하게 될 수록 그 갭(dense와 sparse 계산 효율 차이)은 점점 더 커진다. 또한 non-uniform sparse 모델은 더 정교한 engineering과 computing 인프라구조를 요구한다. 대부분의 비전 모델은 spatial domain에 있는 sparsity를 활용하기 위해 CNN을 쓴다. 그러나 초기에 합성곱은 patch에 대한 dense connection의 collection으로 사용되었다. ??convnet은 처음에는 대칭성을 깨고 학습을 향상시키기 위해 sparse connection을 적용했지만 병렬 컴퓨팅을 최적화하기 위해 full connection으로 바꾸었다.?? 무슨말이여?? 구조의 통일성, 많은 필터수, 큰 배치사이즈는 효율적인 dense computation을 가능케했다.

- 그런데 의문이 들었다. filter level에서 sparsity 사용을 가능케하는 아키텍쳐를 만들어 볼 수 있지 않을까 라는 희망(dense computation을 그대로 쓰면서)..sparse 매트릭스를 다룬 많은 문헌에서 sparse 매트릭스를 클러스터링하여 상대적으로 dense한 submatrix를 만들었는데 좋은 성능을 보여주었다.

- inception 모델은 sparse 구조를 테스트 해보기 위해 시작되었다.

Architectural details

- 주요 개념은 최적화된 local sparse 구조를 근사화하고 dense components로 바로 사용가능하게 하는 방법을 찾는 것에 근거한다. 최적의 local 구조를 찾고 spatially 반복해야하는 것이다. 다시말하면 sparse 매트릭스를 클러스터링하여 상대적으로 dense한 submatrix를 만드는 것이다.

- 우리는 이전 레이어의 각 유닛들은 인풋 이미지의 some region에 대응하고 이 유닛들은 filter bank로 그룹화된다라고 가정하였다. 낮은 층일수록 local 한 region 에 집중할 것이다. 단일 region(feature라고 해석해야할 것 같음)에 집중한 많은 클러스터로 끝날 것이고 이는 다음 층에서 1 × 1 conv 로 계산될 것이다.

- 그러나 우려되는 바는.. large patch에 비해 spatially 퍼진 small number unit이 있을 수 있고 반대로 large region을 커버하는데 patch 수를 줄여야 될 수도 있다(patch 크기가 작은거는 feature를 효과적으로 담지 못해서 patch 크기가 큰 것만 사용). 좀 더 넓은 영역의 filter가 있어야 correlated unit의 비율(kernel 대 correlated unit의 비율)을 높일 수 있다.

- 이를 해결하기 위해 저자는 filter size를 1 × 1, 3 × 3, 5 × 5로 제한하였다(단순 편의를 위해서).

- filter bank의 결과는 concat되어 다음 layer의 인풋으로 들어간다.

- 높은 layer로 갈수록 higher 추상적인 feature가 포착되기 때문에 그것의 spatial concentration은 떨어질 것이고 이는 3 × 3, 5 × 5 필터가 더 많이 쓰여야 한다는 의미이다.

- 큰 문제는 5 × 5를 쓰면 너무 연산량이 많아진다. 또한 pooling unit을 붙이면 연산량이 더 많아지는데 이것이 optimal sparse structure를 구현한다고 해도 너무 비효율적으로 작동한다. 여기서 우리의 두번째 아이디어가 나온다.

- 우리는 우리의 표현력을 대부분의 Place에서 지키고 싶고 signal을 축약해야만 하는 곳에서만 축약하고 싶었다. 즉 1 × 1 을 연산량이 많은 3 × 3, 5 × 5 layer 전에 두었다. 이는 차원축소라는 목적 뿐만 아니라 ReLU를 둠으로써 낮은 차원의 feature들의 정보를 비선형적으로 쓸수 있게 해주었다.

- 효율적인 메모리 사용을 위해서 inception 모듈은 높은 layer에서 쓰는 것이 효율적이다.

- inception 모듈의 장점은 2가지이다.

1. 과도한 연산량 없이 각 단계에서 유닛의 수를 늘릴 수 있다.

2. 이미지 정보가 다양한 scale을 통과하여 계산되어 합쳐지고 이는 다음 layer에서는 다양한 scale을 통과한 정보를 한번에 처리할 수 있게 해준다.

GoogLeNet

part 1) 입력 이미지와 가까운 낮은 레이어

- 기본적인 CNN 모델 사용. inception layer는 메모리 효율을 위해서 높은 layer에서 사용

part 2) inception 모듈

- 차원을 축소하기 위해서 1 × 1을 먼저 두었으며 sparse한 노드를 클러스터링 하기 위해서 3 × 3, 5 × 5 레이어를 두었고 나중에 concat한다.

part 3) auxiliary classifier를 적용

- 모델이 깊을수록 gradient vanishing 문제가 생기는데 이를 방지하고자 얕은 Layer에서 backward를 넘겨주기 위해 auxiliary classifier를 적용하였다. 최종 결과에 지나치게 영향을 주는것을 막기 위해서 최종 loss 합을 계산할 때는 가중치를 1 이하(예를 들어 0.3)로 주었다.

part 4) model의 끝 부분

- average pooling을 사용하는데 이는 GAP(global average pooling)으로 이전 layer에서 나온 feature map을 각각 평균 내서 1차원 벡터로 이어준다. weight 곱셈 연산 없이 class 개수만큼 return이 가능하다. 다른 label set에 대해서 fine tunning을 수월하게 한다. FC보다 GAP가 accuracy가 0.6% 더 좋았다. 그러나 dropout은 여전히 필요하다.

training methodology

- optimizer : SGD, 0.9 momentum

- learning rate : 8에폭마다 4% 감소

- aspect ratio(가로세로 비율) 3/4 또는 4/3를 선택하면서 8% ~100% 다양한 사이즈의 patch sampling하였다. ?? patch size가 3/4인 건 무슨 말임?? 3×3, 5×5 밖에 없는거 아닌가??

결론

- inception은 weight가 의미없이 쓰이는 fully connect보다 sparsly connect를 구현하기 위해 filter 단위에서 이를 적용하였다(최적의 local sparse structure를 찾는다). 다시 말하면 sparse 구조를 dense 구조로 근사화하였다.

filter가 커버하는 input image의 region이 클 수록 correlated 된 node가 많아

상대적으로 large image patch보다 낮은 차원에서 임베딩된 정보들이 상대적으로 더 많은 정보를 가질지도 모른다. 그러나 정보를 dense하고 compressed form으로 임베딩하는 건 어렵다.

22.10.30. 추가 : 3×3, 5×5로 conv layer를 나눠서 통과하는 것은 sparse network를 확보하는 것이다.