50+ days of Machine Learning

 안녕하세요! 오늘은 Day 24입니다! 오늘은 시계열 배운 것을 새로운 데이터에 적용해 봤다 신경망을 사용한 시계열 모델로 원-달러 환율을 예측 오늘 사용했던 데이터는 Day 7에 만든 모델 만들 때도 사용했다 그래도 그때 회귀 모델 만들었는데 오늘은 신경망 모델을 만들어 봤다 데이터는 2000부터 2020까지 ₩-$ 환율 데이터이다 우선, 시계열 예측 하려면, 데이터를 창으로 나누면 좋겠다는 말을 알게 되었다 위에 파라미터를 튜닝에 따라 성능에 큰 영향을 준다. 하루 종일 이 파라미터와 모델 레이어 파라미터 튜닝을 많이 해 봐서 성능이 어떻게 다른지 알게 되는 것이 재미있었다 파이널 모델은 다음과 같다 Mean absolute error 사용했는데 결과는 다음과 같다 그리고 테스트 데이터로 예측하면 성능은 다음과 같다 이제, 오늘 동안 만들어 본 모델 성능의 사진 및 모델 구조 있다 모델 1 MAE: 0.02755 모델 2 window_size = 183 MAE: 0.03141 모델 4 window_size = 60 MAE: 0.02798 모델 5 shuffle_buffer_size = 5000 MAE: 0.02503 모델 6 shuffle_buffer_size = 10000 MAE: 0.01939 모델 7 window_size=45 MAE: 0.03332 모델 8 window_size=60 batch_size=16 MAE: 0.02999 모델 9 batch_size=32 그리고 모델 구조 변경했다 (LSTM 레이어 추가) MAE: 0.01627 모델 10 shuffle_buffer_size = 1000 (original value 원래 그랬다) MAE: 0.02009 모델 11 LSTM 레이어 추가 MAE: 0.01756 모델 12 shuffle_buffer_size = 5000 MAE: 0.04496 모델 13 shuffle_buffer_size=1000, 또한 모델 구조 변경했다 MAE: 0.02415 모델 14 모델 구조 변경 MAE: 0.0...

 안녕하세요! 오늘은 Day 23입니다! DeepLearning.AI의 NLP course 에서 배운 것을 새로운 데이터에 적용해 봤다 재무표의 감정 분석 모델 축구 텍스트 생성 모델 첫 번째, 텍스트 감정 분석 하려고 Kaggle에서 재무표 텍스트와 감정 (positive, negative)으로 나눴던 데이터를 찾게 되었다 stopwords 없앴다 데이터셋을 나누고 토큰화 패딩도 했다 모델 구조는 다음과 같다 여러가지 모델 구조로 훈련했는데 대부분에 과대적합을 볼 수 있었다. 위에 모델의 성능은 과대적합이 텍스트 감정 분석 할 때 흔히 볼 수 있다고 했는데 극복하기 위해 더 노력해야 한다! 자... 두 번째, 텍스트 생성 모델을 만들어 봤다 이번엔  제가 만든 데이터 로 모델을 만들어 봤다 1. 텍스트를 토큰화했다 그 다음에 각 문장을 기반으로 subphrase를 생성했다 예를 들어자면 I like dogs 문장은 > I - 1, like - 2, dogs - 3  > [ [0,0,1],      [0,1,2],      [1,2,3] ]으로 변경했다 여기도 다양한 모델 계층 구조 해 봤는데 결국엔 아래와 같은 모델 구조로 했다 정확도 손실 그리고 마지막으로 ~ 텍스트 생성해 봤다 ['Chelsea', 'Manchester United', 'Arsenal', 'Manchester City', 'Tottenham', 'Best team was', 'Against the wall', 'The FA cup was hard but', 'The season was filled with hardships and', 'In the end, the best team was', 'Some teams performed bad, so they were']  이 프롬프트로 모델이 그 다음 단어 20가지 생성하라고 ...

 안녕하세요! 오늘은 Day 22입니다! 오늘 DeepLearning.AI의 TensorFlow developer certificate course 1, 2에서 배운 것을 적용해 봤다 Card image classifier model using Neural networks Course 1,2 동안 CNN에 대해 공부하고 오늘은 새로운 데이터로 적용해 보고자 했다 Kaggle를 한번 검색해 봐서 아래와 같은 카드 이미지 데이터셋을 찾게 되었다 Course에 따라 일단 ImageDataGenerator 만들었다 그 다음에 모델도 구성해 봤다 훈련과 검증 결과 보는 데 아래 코드 썼다 마지막으로 테스트 데이터로 모델을 테스트했다 결과는... 정확과 손실이 좋지 않은데 good practice이었다고 생각한다 좋은 성능 얻기 위해 여러 가지 모델을 구성했는데, 레이어 변경, 학습률, data augmentation 변수, 레이어의 filters... 그래도 검증 데이터셋으로 65% 이상 정확도 못 얻어 버렸다. 어떤 모델의 손실이 5-10 epoch 후 크게 증가한데 어떤 모델의 손실 100 epoch 후라도 50% 이상 정확도에 못 일렀다 아래에는 여러 가지 모델의 사진 찍고 업로드 드렸다 (많은 모델의 성능 안 찍었다) 모델 1 모델 2 모델 3 모델 4 모델 5 모델 6 훈련 멈췄다 모델 7 훈련 멈췄다 모델 8 모델 9 모델 10 모델 11 모델 12 모델 사진에 정보를 다 포함하지 않는데 모델 1 - base model이고 그 다음에 그냥 변수 병경했다. 훈련 시간도 꽤 걸렸다. 20epoch 1시간이나 걸리는 편이었다 내일 NLP 모델을 만들어 볼게요! 오늘은 여기까지입니다! 내일 뵐게요!