[5주차] 월요일 기록

월요일엔 NLP 전반적인 개념들을 공부해 보았다. 그 중 어려웠던 용어, 개념들을 정리해보자

• Teacher forcing: 다음 스텝의 input을 이전 스텝의 output을 이용하는게 아닌 정답지를 input으로 넣어준다.
• calculating alignment score 방법들:

출처:https://blog.floydhub.com/attention-mechanism/

• Beam search: decoder의 각각의 time step에서 가능한 방법 k개 중 가장 높은 확률 k 개만 정해서 다음 스텝으로 나가는 방법
• BLEU score(BiLingual Evaluation Understudy):

출처:http://www.statmt.org/book/slides/08-evaluation.pdf

    저기서 brevity penalty는 min() 부분을 의미하고 precision은 N-gram 별 측정되는 각각의 precision을 의미한다. N-gram은 N개의 단어씩 묶었을 때 일치하는 수의 비율을 계산한다. 예를 들어 'A B C D E F' 라는 원래 문장과 추측한 'B C A D E F'가 있다고 하자. 2-gram이라고 하면 총 5개중 'B C', 'D E'  두개만 일치해 precision은 2/5가 된다.