전체 글
-
[7주차] 목요일AI Tech 공부 기록 2023. 4. 21. 02:18
오늘은 프로젝트 마지막 날이었다. 어제 돌리고 잤던 k-fold 모델의 결과를 오전에 확인했는데 val-pearson이 굉장히 높아 깜짝 놀랐다. 그런데 생각해보니 k-fold에서는 val-pearson을 기존과 다르게(기존에는 train과 validation을 구분, k-fold에서는 train set 내에서 validation 추출) 계산하기 때문에 더 높게 나올 수 있었던 것이었다. 그래도 test-pearson도 나름 괜찮게 나와 나중에 앙상블 모델에 추가하기 위해 ckpt파일을 따로 저장해 두었다. 오늘은 제출을 해야하는 날이기에 기존에 실험했었던 모델 중 괜찮은 것들을 추려 앙상블을 만들어보려 했다. 그 중에는 ckpt를 용량 문제 때문에 지운 것들도 있어서 다시 돌려야 하는 모델도 존재해 오..
-
[7주차]수요일AI Tech 공부 기록 2023. 4. 20. 03:19
오늘은 좀 피곤한 하루였다. 어제의 외출 때문인지, 프로젝트 때문에 잠이 좀 밀려서 인지 하루 종일 머리가 멍한 상태였다. 그런 상태 중에도 GPU를 놀리기 싫어 여러가지 변수를 바꿔가며 train.py를 계속 돌리려고 했던 것 같다.(큰 성과는 없었지만) 그 과정에서 어떤 걸 깨달았고 내일 추가적으로 어떤 것을 해볼지에 대해 적어보려 한다. 먼저 어제 자기 전에 learning scheduler를 적용한 model을 돌리고 잤었다. 아침에 일어나 학습 결과를 확인해 보니 같은 epoch 대비 확실히 빠르게 학습이 이루어 진 것을 확인할 수 있었다. 이를 통해 여러 모델에 scheduler를 적용해서 돌려 보았는데 대부분 비슷한 결과를 보였다. 위의 그래프를 보면 더 많은 epoch을 진행했을 때 성능이..
-
[7주차] 화요일AI Tech 공부 기록 2023. 4. 19. 02:38
오늘은 역삼역에서 오프라인이 있었던 하루였다. 항상 줌으로만 보던 팀원 분들을 실물로 직접 본다니까 어제부터 되게 설레고 기대했었다. 팀원 분 중 한 분은 거리가 너무 멀어 못오신게 아쉬웠지만 나머지 팀원 분들이라도 봐서 좋았던 하루였던 것 같다. 특히 좋았던 것은 오전 부터 프로젝트를 진행하면서 실시간으로 계속 상의를 할 수 있었다는 것이었다. 줌으로 같이 공부할 때는 다들 공부하고 계신 모습만 보기 때문에 뭔가 막히더라도 혼자 고민하고 정말 해결이 안될 때만 도움을 요청 했었다. 하지만 이렇게 옆에서 같이 공부를 하고 있으니 뭔가를 여쭤보기도 쉽고 즉각적으로 피드백이 이루어 지니 이런 부분에서 오프라인 모임의 장점을 여실히 느낄 수 있었다. 오늘은 여러 부분에서 모델을 만져보고 싶었다. 어제 결국 허..
-
[7주차] 월요일AI Tech 공부 기록 2023. 4. 18. 02:01
프로젝트 2주차 시작! 오늘은 좀 괴로운 하루였다. 오전에 git에 실수로 push를 해 origin branch를 내가 손상시켰기 때문이다. 그래서 팀원분들께 말씀드려 1,2시간 정도 손보는 작업이 필요했다. 결국 이전 단계로 reset을 해 천천히 필요한 코드들을 commit하는 방안으로 해결을 했지만 아직 git의 정확한 구조를 모르기에 나는 그저 줌으로 하시는 것을 보고만 있었다. 이번 일로 git의 정확한 사용방법, 팀 협업에서 지켜야 할 규칙들에 대해 크게 깨달았다. 팀원분께서 해결해주시는 동안 굉장히 죄송했고, 무지에 대한 한심함이 밀려왔기 때문이다. 아직 너무 모르는 것들이 많다. Linux, git, Json 등 정확한 사용방법을 모르는 것들이 이번 프로젝트에 계속해서 생기는 것 같다. ..
-
[6주차] 주간회고AI Tech 공부 기록 2023. 4. 17. 01:25
이번 주는 드디어 프로젝트가 시작되는 주였다. 첫 프로젝트이기에 많은 걱정이 되었다. 아직 git이나 model 구현에 많이 약해 익숙해지는게 우선되어야 했다. 그래서 수요일 까지는 관련 강의를 듣고 미션을 푼 뒤, git과 vscode에 서버 연결 등을 먼저 해결했다. 혼자 해결하려 하니 혼란스럽기도 하고 꽤 많은 시간을 잡아먹었는데 중간에 팀원 분들에게 도움을 요청하니 다들 바쁜 시간 와중에 직접 도와주셔서 너무 감사했다. git을 어떻게 관리해야 하는지, 서버를 어떻게 연결해야 하는지, base line 코드를 어떻게 변경해주었는지 등등 정말 다들 친절하게 알려주셔서 금요일 부터는 모델을 직접 훈련시킬 수 있었다. 금요일 부터는 어떤 것들이 모델 성능에 영향을 끼칠까에 대해 계속 고민했다. data..
-
[6주차] 월요일 공부 기록AI Tech 공부 기록 2023. 4. 11. 09:59
Pandas isin method: 항상 df['A'=='b'] 이런 식으로 해결 했는데 df['A].isin('b') 이런 식 으로도 표현 가능하다! Tokenization 과 embedding의 차이: tokenization은 text를 어떤 단위로 바꿀지에 대해 생각, embedding은 token을 어떤 숫자로 바꿀 건지 생각. Tokenization tools: KoNLPy(한국어 정보처리 파이썬 패키지), SentencePiece(BPE, unigram 방식 등 다양한 subword units 지원), Huggingface Tokenizer(다양한 언어모델들의 tokenization 과 어휘사전 지원) 이 정도가 월요일 내용 중 짚고가고 싶은 내용들이었다. 이번주 부터 프로젝트 준비기 때문에 ..
-
[논문 리뷰] Group NormalizationAI Tech 공부 기록 2023. 4. 6. 22:41
이번 주에는 Group Normalization(https://arxiv.org/abs/1803.08494) 논문을 읽어보기로 했습니다. 이 논문을 선택하게 된 이유는 과거의 논문 중 우리가 배워보고 싶은 것을 찾던 중 Nomalization이라는 주제에 대해 공부해보자는 이야기가 나왔고 여러 Normalization 논문 중 많은 방법을 내포하고 있는 이 논문을 고르게 되었습니다.(아래 나오는 모든 그림과 표는 논문에서 발췌하였습니다) 1.Introduction Batch Normalization(이하 BN)은 이전부터 deep learning 학습에서 굉장히 효과적인 방법으로 알려졌습니다. 하지만 이 방법에서 문제점이 존재했는데 바로 batch size에 굉장히 의존적이라는 것이었습니다. 왜냐하면 b..
-
[5주차] 월요일 기록AI Tech 공부 기록 2023. 4. 4. 18:22
월요일엔 NLP 전반적인 개념들을 공부해 보았다. 그 중 어려웠던 용어, 개념들을 정리해보자 Teacher forcing: 다음 스텝의 input을 이전 스텝의 output을 이용하는게 아닌 정답지를 input으로 넣어준다. calculating alignment score 방법들: Beam search: decoder의 각각의 time step에서 가능한 방법 k개 중 가장 높은 확률 k 개만 정해서 다음 스텝으로 나가는 방법 BLEU score(BiLingual Evaluation Understudy): 저기서 brevity penalty는 min() 부분을 의미하고 precision은 N-gram 별 측정되는 각각의 precision을 의미한다. N-gram은 N개의 단어씩 묶었을 때 일치하는 수의..