[paper review] RoBERTa: A Robustly Optimized BERT Pretraining Approach

RoBERTa: A Robustly Optimized BERT Pretraining Approach

Language model pretraining has led to significant performance gains but careful comparison between different approaches is challenging. Training is computationally expensive, often done on private...

https://arxiv.org/abs/1907.11692

ROBERTa == BERT에서 사전학습 방법론을 바꾸고 데이터를 늘린 모델

• BERT의 사전학습 방법은 MLM, NSP 두가지 이다.

• mlm시 동적 마스킹방법 사용
• 기존의 BERT에서는 정적 마스킹 방법을 사용한다. 이는 모델의 학습이 시작되기 전 전처리 단계에서 문장에 대해 한번 마스킹을 하면 동일하게 마스킹된 상태가 매 에폭마다 사용되는 마스킹 방식을 말한다. 즉 하나의 문장이 한번 마스킹 되면 다른 토큰의 마스킹될 기회가 없어지는 것이다. 그러나 ROBERTa에서 사용하는 마스킹 방법에서는 똑같은 문장을 10개를 생성하고 각각 무작위로 15%확률 마스크 작업을 한다. 이를 통해 하나의 문장이 서로 다른 토큰이 마스킹된 형태가된다. 이렇게 하면 동일한 문장의 다른 부분이 마스킹된 형태가 매 에폭 학습되어 다양성이 증가한다.

• NSP를 제거함.
• 실험 결과 MLM, NSP를 둘 다 사전학습에 이용하는 것보다 NSP를 사용하지 않고 MLM만 사용한 결과가 더 성능이 좋다는 것을 발견하였다.

• 데이터 양을 늘림
• BERT의 사전학습에 사용된 데이터는 영어 위키피디아 데이터셋과 토론토 책 말뭉치로 크기는 16GB이다. ROBERTa는 여기에 CC-News, Open WebText, Stories를 일부 추가하여 총 160GB데이터를 사용했다.

• 배치 크기를 증가시켜 학습시킴
• BERT는 256개 배치로 100만 단계로 사전학습을 한 반면, ROBERTa에서는 30만 단계에 대해 8000개의 배치로 사전학습했다. 배치 크기를 키우면 학습속도를 늘리고 모델의 성능 또한 향상 시킬 수 있다.

• 토크나이저로 BBPE(Byte level BPE) 사용
• BERT는 워드 피스 토크나이저를 사용하는데, 이는 BPE와 유사하나 단순히 빈도수가 아니라 우도를 기반으로 병합작업을 하는 토크나이징 방법이다. ROBERTa에서 사용하는 BBPE또한 BPE와 유사하나 캐릭터(글자)가 아니라 바이트 형태의 시퀀스를 사용한다.