LSTM
[부스트캠프][WK06 / Day27] RNN, LSTM, and GRU 2
1. 강의 내용 LSTM and GRU (주재걸 교수님) 1) LSTM (Long Short-Term Memory) LSTM은 기존의 RNN이 가지던 문제인 gradient vanishing, exploding 문제를 해결하고 long term dependency 문제를 개선한 모델입니다. cell state 정보를 다른 변형없이 지나가도록 하며 위의 문제들을 해결합니다. 위에서 $C_t$는 완성된 정보를 담고있으며, $h_t$는 $C_t$를 한 번 더 가공해 해당 timestep에서 노출할 필요가 있는 정보만 남긴 filtering된 벡터입니다. LSTM의 내부구조는 이렇게 되어있으며 이에대한 설명은 [부스트캠프][WK02 / Day9] Recurrent Neural Networks 에 정리해 두었습니..
[부스트캠프][WK02 / Day9] Recurrent Neural Networks
1. 강의 내용 RNN (최성준 교수님) 1) Sequential Model Sequential data의 가장 큰 어려움은 정의상 길이가 언제 끝날지 몰라 받아야하는 입력의 차원을 알 수 없습니다. 그래서 fully connected layer나 CNN을 활용하지 못합니다. 입력이 가변적이어서 발생하는 문제를 해결하기위해 정보의 개수를 한정($AR(\tau$)) 시킵니다. $\tau$ 시점 전 까지만 입력으로 넣어주는 것으로 $\tau$를 1로 하는 모델이 Markov model입니다. Markov model의 joint distribution을 표현하기 쉬워지는 장점이 있지만 1시점만 보기 때문에 많은 정보를 버리게 됩니다. Latent autoregressive model은 중간에 hidden st..