50+ days of Machine Learning

 안녕하세요! 오늘은 Day 23입니다! DeepLearning.AI의 NLP course 에서 배운 것을 새로운 데이터에 적용해 봤다 재무표의 감정 분석 모델 축구 텍스트 생성 모델 첫 번째, 텍스트 감정 분석 하려고 Kaggle에서 재무표 텍스트와 감정 (positive, negative)으로 나눴던 데이터를 찾게 되었다 stopwords 없앴다 데이터셋을 나누고 토큰화 패딩도 했다 모델 구조는 다음과 같다 여러가지 모델 구조로 훈련했는데 대부분에 과대적합을 볼 수 있었다. 위에 모델의 성능은 과대적합이 텍스트 감정 분석 할 때 흔히 볼 수 있다고 했는데 극복하기 위해 더 노력해야 한다! 자... 두 번째, 텍스트 생성 모델을 만들어 봤다 이번엔  제가 만든 데이터 로 모델을 만들어 봤다 1. 텍스트를 토큰화했다 그 다음에 각 문장을 기반으로 subphrase를 생성했다 예를 들어자면 I like dogs 문장은 > I - 1, like - 2, dogs - 3  > [ [0,0,1],      [0,1,2],      [1,2,3] ]으로 변경했다 여기도 다양한 모델 계층 구조 해 봤는데 결국엔 아래와 같은 모델 구조로 했다 정확도 손실 그리고 마지막으로 ~ 텍스트 생성해 봤다 ['Chelsea', 'Manchester United', 'Arsenal', 'Manchester City', 'Tottenham', 'Best team was', 'Against the wall', 'The FA cup was hard but', 'The season was filled with hardships and', 'In the end, the best team was', 'Some teams performed bad, so they were']  이 프롬프트로 모델이 그 다음 단어 20가지 생성하라고 ...

 안녕하세요! 오늘은 Day 22입니다! 오늘 DeepLearning.AI의 TensorFlow developer certificate course 1, 2에서 배운 것을 적용해 봤다 Card image classifier model using Neural networks Course 1,2 동안 CNN에 대해 공부하고 오늘은 새로운 데이터로 적용해 보고자 했다 Kaggle를 한번 검색해 봐서 아래와 같은 카드 이미지 데이터셋을 찾게 되었다 Course에 따라 일단 ImageDataGenerator 만들었다 그 다음에 모델도 구성해 봤다 훈련과 검증 결과 보는 데 아래 코드 썼다 마지막으로 테스트 데이터로 모델을 테스트했다 결과는... 정확과 손실이 좋지 않은데 good practice이었다고 생각한다 좋은 성능 얻기 위해 여러 가지 모델을 구성했는데, 레이어 변경, 학습률, data augmentation 변수, 레이어의 filters... 그래도 검증 데이터셋으로 65% 이상 정확도 못 얻어 버렸다. 어떤 모델의 손실이 5-10 epoch 후 크게 증가한데 어떤 모델의 손실 100 epoch 후라도 50% 이상 정확도에 못 일렀다 아래에는 여러 가지 모델의 사진 찍고 업로드 드렸다 (많은 모델의 성능 안 찍었다) 모델 1 모델 2 모델 3 모델 4 모델 5 모델 6 훈련 멈췄다 모델 7 훈련 멈췄다 모델 8 모델 9 모델 10 모델 11 모델 12 모델 사진에 정보를 다 포함하지 않는데 모델 1 - base model이고 그 다음에 그냥 변수 병경했다. 훈련 시간도 꽤 걸렸다. 20epoch 1시간이나 걸리는 편이었다 내일 NLP 모델을 만들어 볼게요! 오늘은 여기까지입니다! 내일 뵐게요!

 안녕하세요! 오늘은 Day 21입니다! 드디어 오늘 TensorFlow developer certificate 준비 course 를 끝냈다 그러나, 실제 시험을 아직 못 볼 것 같다. Practice 좀 더 필요한 것 같기 때문이다. 내일부터 course에서 배운 것을 kaggle에서 보는 데이터로 적용할 것이다. 오늘 배웠던 내용을 요약해 보도록 한다 Sequences, Time series & Prediction  부분을 공부했다 꽤 쓸모있는 function 얻었다 tensorflow로 시계열 예측 할 때 일단 데이터셋이 창으로 나눠야 한다 이런 단순한 모델로 훈련할 수 있는데 이건 너무 단순하다 Huber - 모델 손실 함수에 대해 알게 되었다. "In statistics, the Huber loss is a loss function used in robust regression, that is less sensitive to outliers in data than the squared error loss" 창으로 나눠서 Bidirectional LSTM 레이어에 넣기 전에 lambda 레이어로 데이터를 변경해야 한다. 또, 마지막 레이어에서도 더 이해할 수 있는 형으로 변경하기 위해 x * 100.0를 적용한다 마지막 과제에서 아래 모델을 만들어야 했다 결과는 mse: 5.34, mae: 1.80 for forecast 다른 모델도 구성했는데  이 모델을 제출했으면 실패했을 것이다 ^^ 그리고, 오늘 Andrew Ng 교수님께서 이야기 영상 을 봤다  그 중 재미있는 부분은 위에 사진이다 Full 색은 현재 상태인데 semi-transparent 색은 3년 후에 AI의 상태이라고 하셨다. 지도 학습 생각보다 유행하고 generative AI 아직 많이 발전하지 않은 분야인 것 같다 오늘은 여기까지입니다! 내일 뵐게요!