[부스트캠프][WK07 / Day32] Self-supervised Pre-training Models 1

1. 강의 내용 Self-supervised Pre-training Models (주재걸 교수님) 1) GPT-1 GPT-1은 , , $와 같은 special token을 적용해 다양한 자연어처리 task를 동시에 커버할 수 있는 통합된 모델을 제안합니다. [출처][https://blog.openai.com/language-unsupervised/] 위의 그림을 보면 Text & Position Embedding을 거친 후, self-attention block을 12개 쌓은 구조를 가집니다. 이 모델은 두 task를 가지는데, Text Prediction은 첫 단어부터 순차적으로 다음 단어를 예측하는 Language modeling task입니다. Text Classifier는 Extract토큰이 문장..