[부스트캠프][WK07 / Day33] Self-supervised Pre-training Models 2

1. 강의 내용 Advanced Self-supervised Pre-training Models (주재걸 교수님) 1) GPT-2 모델 구조는 GPT-1과 크게 다를 바 없고 단지 transformer layer를 많이 쌓고 다음 단어를 예측하는 task입니다. 또한 데이터의 양과 질을 모두 높였습니다. GPT-2는 자연어 처리의 대부분의 문제가 QA로 해결된다는 주장을 한 논문 The Natural Language Decathlon: Multitask Learning as Question Answering에서 영감을 받았습니다. GPT-2의 데이터셋은 Reddit이라는 사이트에서 3개 이상의 좋아요를 받은 글들에 대해 외부 링크의 글을 포함해 수집했습니다. 전처리는 BERT에서의 wordpiece와 비..