Attention
[부스트캠프][WK06 / Day28] Sequence to Sequence with Attention
1. 강의 내용 Sequence to Sequence with Attention (주재걸 교수님) 1) Sequence to Sequence Sequence to Sequence는 RNN의 구조 중 many to many에 해당됩니다. Sequence to Sequence는 Encoder와 Decoder로 구성되어 있는데, Encoder는 입력 문장을 읽어내는 RNN 모델이며, Decoder는 출력 문장을 순차적으로 단어 하나씩 생성하는 모델입니다. Encoder와 Decoder는 파라미터를 공유하지 않습니다. 여기서 Encoder의 마지막 time step의 hidden state vector는 Decoder의 $h_0$로 사용됩니다. 단어별로 문장을 생성하는 task에서 start token ()을 ..