[paper review] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

date

Aug 25, 2023

slug

BERT

author

status

Public

Introduction

사전 훈련된 언어표현을 down stream task에 적용시키 위해서는 두가지 방법이 있다.

feature-based : task-specific한 구조 (예) ELMo

fine-tuning: task-specific한 parameter를 최소화하고 down-stream task에 모든 pre-trained parameter를 fine-tuning하는 기법 (예) GPT

두가지 방식 모두 unidirectional(단방향) 언어모델에서 사전 훈련시에 똑같은 목적함수를 가진다.

현재까지 발표된 pre-trained 언어모델은 주로 unidirectional하였다. (openAI GPT)

그러나 단방향 모델은 문장단위 task에 대해 완전히 optimal하지는 않으며, 양방향의 맥락을 고려하는 것이 중요한 token단위 task(QA)에서도 온전하지 않다.

따라서 해당 논문에서는 BERT(트랜스포머를 이용한 양방향 인코더 representation)을 소개한다. BERT에서는 MLM(마스크 언어모델)을 사용해 앞서 언급한 단방향성의 한계를 극복한다.

MLM에서는 랜덤하게 인풋의 토큰들을 mask하고 목적함수는 masked된 단어의 원래 단어의 id를 맥락에만 의존하여 예측하도록 설계된다.

left-to-right 언어모델에 대한 사전훈련과는 달리 MLM obejctive는 왼쪽과 오른쪽 양방향의 맥락을 융합되도록 한다.

또한 추가적으로 MLM에서는 NSP(next sentence prediction, 다음 문장 예측)를 사용한다. 이는 두개의 문장 pair에 대한 representation을 사전훈련한다.

Main contribution

MLM을 이용해 deep bidirectional representation을 가능하게 했다.

복잡하고 무거운 엔지니어링이 필요한 task specific한 방법론보다도 더 좋은 성능을 냈다.

11개의 nlp task에서 SOTA를 달성했다.

Related works

unsupervised feature based approaches

unsupervised fine-tuning approaches

transfer learning from supervised data

BERT

bert 모델에는 위와 같이 pre-training, fine-tuning라는 두개의 step이 있다.

두 스텝에서 사용되는 구조는 마지막 output layer을 제외하고는 다 동일하다.

unlabled data로 사전학습이 된 가중치를 초기 파라미터 값으로 잡고 labeled 데이터를 이용해 fine tuning을 하게 되며 task가 달라도 초기 파라미터 값은 다 동일하게 사전학습된 가중치로 시작된다.

CLS 토큰은 special token으로, 모든 인풋앞에 추가되며 SEP 토큰은 문장(또는 문서)을 구분하기 위해 사용되는 토큰이다.

bert는 down stream task의 종류와 상관없이 모두 구조가 동일하다는 특이한 점이 있다.

bert는 transformer의 인코더를 여러개 쌓아 만든 구조이다.

(transforemer 인코더의 sublayer는 크게 두개로, multihead self attention과 position wise FC layer가 있다)

input/output 형태

다양한 down stream task에 문제없이 사용되기 위해 두문장이든 한문장이든 하나의 token sequence로 나타내야 했다.

(본논문에서 sequence란 bert의 인풋이 되는 하나의 덩어리로, 이는 한문장일수도 두문장일수도 있다. 또한 문장은 언어적으로 통용되는 의미의 문장이라기 보다는 연속적인 텍스트의 뭉텅이라고 생각해야한다.

bert 계열 논문에서 sequence와 sentence가 다른 것이며 각 의미를 아는 것이 중요하다.)

tokenization은 BPE의 일종인 wordpiece tokenizer를 사용했다. (30000개의 단어집합을 가진)

모든 인풋의 맨앞에는 CLS라는 스페셜 토큰을 두었는데 이에 대한 hidden state은 sequence에 대한 representation으로 분류task에 활용된다.

하나의 sequence내의 두문장을 구분하는 방법은 두가지인데 SEP토큰을 두 문장 사이에 두는 방법과

임베딩층을 아예 하나 만들어서 각 토큰이 문장1에 속하는지 문장2에 속하는지를 표시하는 것이다.

위 그림은 bert의 인풋 representation이다.

포지션 임베딩, 어떤 sentence에 속하는지를 표현하는 세그먼트 임베딩, 그리고 각 토큰에 대한 임베딩을 합쳐 만든다.

pre-training

MLM방법과 NSP방법 두가지로 사전훈련한다.

Masked LM (MLM)8

Next Sentence Prediction (NSP)

Experiment

GLUE