50+ days of Machine Learning

 안녕하세요! 오늘은 Day 31입니다! 오늘의 내용이 다음과 같다 Sequence models 학회 day 2 첫 번째 ~  Deep Learning specialization by DeepLearning.AI 거의 끝냈다 남아 있는 부분이 많지 않고 내일 다 할 것 같다 오늘의 부분은 자연어 차리 모델에 대한 것이였다 RNN 모델이 자연어 처리를 잘 할 수 있는데 그보다 Gated Recurrent Unit (GRU) 모델은 더 효과적으로 할 수 있다. RNN 모델은 장거리 관계의 기억이 잘 못 하여 GRU 모델은 그 단점을 극복한다. 또 RNN 모델이 vanishing gradient 문제도 있어서 GRU는 그것도 극복할  수 있다. vanishing gradient은 back prop 할 때 거리가 길면 gradient이 너무 작아지고 없어지는 문제이다.  그리고, BRNN에 대해 좀 알아봤다. BRNN은 양방향으로 입력 순차 데이터를 처리하여 과거와 미래의 정보를 동시에 고려하는 신경망 구조이다. 이를 통해 긴 범위의 의존성과 패턴을 더 효과적으로 파악할 수 있으며, 자연어 처리, 음성 인식 등의 순차 데이터 처리에 유용하게 활용된다 . 일반적으로 BRNN은 두 개의 RNN 구성요소로 구성되며, 각각은 순방향과 역방향으로 sequence를 처리하여 종합적인 입력 표현을 제공한다 Next ~ word embeddings. Whereas other methods may use indexing of words, or characters when making text generation models, we can use analogies and word vectors. With the first methods, we might end up with 50,000 classes (if we have 50,000 unique words), instead of that, we can use analogies to group words together.  analog