[Day 32] Language transformers 및 한국 소프트웨어 공학 학회 day 3 (my presentation day)

 안녕하세요!
오늘은 Day 32입니다!

오늘 했던 것이 다음과 같다

• Deep Learning Specialization 마무리

• 한국 소프트웨어 공학 학회에서 발표 했다

첫 번째 ~
DL specialization 끝났다 ^^

Sequence models에서 마지막 부분이 Language transformers인데 그건 지금까지 못 배웠는데 NLP 위해 다양한 기능을 포함한다는 것을 알게 되었다

Transformers는 self-attention 매커니즘을 통해 문맥을 포착하는 데 뛰어나고 이는 문맥적 관련성에 따라 sequence 내의 다른 단어들의 중요성을 가중시킬 수 있으며 이를 통해 효과적으로 long range 의존성을 모델링하고 텍스트 내의 세밀한 관계를 찾을 수 있다

Self-attention mechanism은 각 단어를 query, key와 value 벡터와 관련시켜 단어에 대한 query에 가장 관련 있는 단어를 식별하는 데 key가 도움이된다. Value는 최종 표현에 기여한다. context에 따라 표현을 동적으로 조정함으로써 self-attention mechanism은 순차열 내 단어 의미와 관계의 더 풍부한 이해를 가능하게 하여 자연어 처리 작업에서 트랜스포머 네트워크의 능력을 향상시킬 수 있다

You can stack the self-attention "layers", and you get multi-head attention. 

Multi-head attention mechanism은 for loop over the self-attention mechanism으로 간단히 설명할 수 있다. 각 계산 단계를 head라고 부르며, 각 head는 입력 sequence에 대해 self-attention를 계산한다. 이러한 계산을 병렬로 수행하고 그 결과를 결합하여 multi-head stack을 생성한다. 이러한 mechanism을 통해 각 단어에 대해 여러 질문을 할 수 있고, 각 단어의 훨씬 더 풍부하고 효과적인 표현을 학습할 수 있다. 예를 들어, Jane went to France in September 문장의 경우, where 질문으로, France 단어 이해할 수 있고, when - September, who - Jane, etc - 각 단어를 context으로 이해할 수 있다

이 부분은 그냥 transformer 소개를 했는데 NLP에 대해 더 깊게 이해하려면 transformers에 대해 잘 공부해야 할 것 같다

자~~ 이제, 저의 발표에 대해 말씀 드리겠습니다 ~

발표 자리 여기서 볼 수 있다 (google slides)

단편 논문은 여기서(page 115) 볼 수 있다

저희 주제는 ChatGPT 활용에 대한 고찰: 다양한 도메인에 적용되는 프롬프트 엔지니어링 전략 분석이라고 했는데 그냥 프롬프트 엔지니어링 이전 논문 리뷰 작성해 봤다

본 연구의 프롬프팅 전략이 위에 테이블에서 볼 수 있는데 제게 제일 마음에 드는 전략은 Oh, 2023 논문이다. 저기 수학 문제 풀기 위해 프롬프트 전략을 만들어 내며 전략은 '역할-규칙-예제풀이-문제-과정' 프롬프트로 한국 9종 수학 교과서 문제를 풀어 봐서 91% 정확도에 달했다. 보통 챗gpt 수학은 잘 못 하는 편인데 이런 프롬프트로 잘하게 되었다

오늘의 발표 잘하게 진행했던 것 같다. 처음엔 손 많이 떨렸는데 2-3분 후 나아졌다

마지막으로 ~ 송지영 교수님께 KCSE에 대해 알려주시고 논문을 제출하는 데 도움주셔서 다시 감사드립니다. 제 논문이 단순하면서도 이런 기회를 놓쳐서는 안 되는 것이라 KCSE 학회에 참가했더니 기쁩니다! 

오늘은 여기까지입니다!

내일 뵐게요!