Grouped-query attention이란 무엇인가?

최근 발표된 성능 좋은 오픈소스 모델은 대부분 Attention을 개선하여 성능을 개선시키고 있는 것 같습니다. 이번 포스트에서는 Meta의 Llama2와 Google의 gemma에서 사용된 GQA와 MQA에 대해서 알아보려고 합니다.