RNN
[부스트캠프][WK06 / Day26] RNN, LSTM, and GRU 1
1. 강의 내용 Recurrent Neural Network and Language Modeling (주재걸 교수님) 1) Basics of Recurrent Neural Networks (RNNs) RNN은 위와 같은 구조를 가지고 있으며 시퀀스데이터가 입력 또는 출력으로 주어진 상황에서 각 time step에서 들어오는 입력벡터 $X_t$와 이전 time step의 RNN 모델에서 계산한 hidden state vector $h_{t-1}$을 입력으로 받아 $h_t$를 출력으로 내보냅니다. 여기서 중요한 사실은 동일한 파라미터를 가지고 있는 모델을 매 time step에서 동일하게 사용한다는 사실입니다. 해당 수식은 아래와 같이 표현됩니다. 점화식(recurrence formula)은 이웃하는 두개의..
[부스트캠프][WK02 / Day9] Recurrent Neural Networks
1. 강의 내용 RNN (최성준 교수님) 1) Sequential Model Sequential data의 가장 큰 어려움은 정의상 길이가 언제 끝날지 몰라 받아야하는 입력의 차원을 알 수 없습니다. 그래서 fully connected layer나 CNN을 활용하지 못합니다. 입력이 가변적이어서 발생하는 문제를 해결하기위해 정보의 개수를 한정($AR(\tau$)) 시킵니다. $\tau$ 시점 전 까지만 입력으로 넣어주는 것으로 $\tau$를 1로 하는 모델이 Markov model입니다. Markov model의 joint distribution을 표현하기 쉬워지는 장점이 있지만 1시점만 보기 때문에 많은 정보를 버리게 됩니다. Latent autoregressive model은 중간에 hidden st..
[부스트캠프][WK-01 / Day4] AI Math 3
1. 강의 정리 통계학 맛보기 (임성빈 교수님) 1) 통계적 모델링 통계적 모델링은 적절한 가정 위에서 확률분포를 추정하는 것이 목표이며, 기계학습과 통계학이 공통적으로 추구하는 목표입니다. 하지만 모집단의 분포를 정확히 알아내는 것은 불가능하므로 근사적으로 확률분포를 추정하는데 목적은 정확하게 맞추는 것보다 위험을 최소화하는 것입니다. 모수적(parametric) 방법론: 데이터가 특정 확률분포를 따른다고 선험적으로(a priori) 가정한 후 그 분포를 결정하는 모수를 추정하는 방법 비모수(nonparamtric) 방법론: 특정 확률분포를 가정하지 않고 데이터에 따라 모델의 구조 및 모수의 개수가 무한히 많거나 유연하게 바뀌는 방법. 기계학습의 많은 방법론은 비모수 방법론에 속합니다. 확률 분포를 가..