[논문리뷰] ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators 간단 리뷰

ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators Kevin Clark, Minh-Thang Luong, Quoc V. Le, Christopher D. Manning https://openreview.net/forum?id=r1xMH1BtvB ELECTRA 논문에 대해 간단하게 요약한 리뷰입니다. 3줄 요약 기존의 MLM에서 전체 데이터의 15%만 loss를 계산하고 학습하는 등의 방식이 비효율적이기 때문에 전체 데이터를 학습하도록 하면 훨씬 효율적으로 학습할 수 있음 MLM과 달리 MASK 토큰 자리에 대체 단어를 생성하고 전체 단어가 original인지 corrupted token인지 예측하는 replaced t..