네이버 부스트캠프/LEVEL-2
[부스트캠프][WK06 / Day27] RNN, LSTM, and GRU 2
1. 강의 내용 LSTM and GRU (주재걸 교수님) 1) LSTM (Long Short-Term Memory) LSTM은 기존의 RNN이 가지던 문제인 gradient vanishing, exploding 문제를 해결하고 long term dependency 문제를 개선한 모델입니다. cell state 정보를 다른 변형없이 지나가도록 하며 위의 문제들을 해결합니다. 위에서 $C_t$는 완성된 정보를 담고있으며, $h_t$는 $C_t$를 한 번 더 가공해 해당 timestep에서 노출할 필요가 있는 정보만 남긴 filtering된 벡터입니다. LSTM의 내부구조는 이렇게 되어있으며 이에대한 설명은 [부스트캠프][WK02 / Day9] Recurrent Neural Networks 에 정리해 두었습니..
[부스트캠프][WK06 / Day26] RNN, LSTM, and GRU 1
1. 강의 내용 Recurrent Neural Network and Language Modeling (주재걸 교수님) 1) Basics of Recurrent Neural Networks (RNNs) RNN은 위와 같은 구조를 가지고 있으며 시퀀스데이터가 입력 또는 출력으로 주어진 상황에서 각 time step에서 들어오는 입력벡터 $X_t$와 이전 time step의 RNN 모델에서 계산한 hidden state vector $h_{t-1}$을 입력으로 받아 $h_t$를 출력으로 내보냅니다. 여기서 중요한 사실은 동일한 파라미터를 가지고 있는 모델을 매 time step에서 동일하게 사용한다는 사실입니다. 해당 수식은 아래와 같이 표현됩니다. 점화식(recurrence formula)은 이웃하는 두개의..
[부스트캠프][WK06 / Day25] Bag of Words & Word Embedding
1. 강의 내용 Intro to NLP, Bag-of-Words (주재걸 교수님) 1) Intro to Natural Language Processing(NLP) 1. NLP low-level parsing Tokenization: 주어진 문장을 단어 단위로 쪼개나가는 것 stemming: 어미가 다른 단어를 단어의 다양한 의미변화를 없애고 의미만을 보존하는 단어의 어근을 추출하는 것 Word and phrase level Named entity recognition(NER): 단일 언어나 여러 단어로 이뤄진 고유명사를 인식하는 task part-of-speech(POS) tagging: 단어들이 문장 내에서의 품사나 성분이 무엇인지 알아내는 task Sentence level Sentiment anal..