[Day 27] 딥러닝 모델 개선법 - 하이퍼파라미터 뉴닝, 정규화, 최적화
안녕하세요! 오늘은 Day 27입니다! 오늘은 Deep learning specialization 중 3번째 course를 공부했다 Improving Deep Neural Networks: Hyperparameter Tuning, Regularization and Optimization 우선, 어제 시작했던 부분을 끝냈다 단순 딥러닝 모델을 'from scratch" 만들어 봤다 과정을 간단하게 설명하자면 1. initialize parameters 2. do forward prop, compute cost, do backward prop, update params 실제로 머신러닝 과학자가 이렇게 하는지 잘 모르겠는데 신경망 모델을 더 깊게 이해하려고 도움이 되었던 것 같다 자, 이제 ~ Improving Deep Neural Networks: Hyperparameter Tuning, Regularization and Optimization의 내용을 요약해 보도록 하겠습니다! Basic recipe for machine learning 얻었다 Model has high bias ? > Yes > Bigger network, train longer, look for another model architecture \/ No \/ Model has high variance ? > Yes > More data, regularization, look for another model arch \/ No \/ Done :) 이건 간단한 model building recipe라고 한다 Bias와 variance 극복하기 위해 여러가지 방법이 있는데 normalize 하나이다. 정규화 전 및 정규화 후. 정규화하면 grad descent이 minimum을 더 쉽게 찾을 수 있게 된다 Bias와 variance 극복하기 위해 W, b 파라미터 initialization