[부스트캠프][WK07 / Day34] 7주차 NLP Transformer 이후 연구 동향 정리

NLP Transformer 이후 연구 동향 Transformer Transformer 이전의 문제점: Long-Term Dependency Gradient Vanishing and Exploding 해결방안: 👍 RNN 구조를 사용하지 않고 Attention만을 사용하여 학습 RNN 구조가 아닌 아키텍쳐에서 Attention을 사용하기 위해 Self Attention을 고안 결과: Language Model의 Game Changer... 이후 나오는 모델들은 대부분(전부) Transformer의 구조를 응용한다. GPT 1 GPT-1 | ( 참고1 , 참고2 ) 이전의 문제점: Unlabeled 텍스트 데이터는 풍부한 반면, Labeled 데이터는 매우 적은 문제 → supervised learning..