[논문 리뷰] Attention Is All You Need
이 논문은 "Attention Is All You Need"이라는 제목의 논문입니다.작성자는 Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin, 그리고 Ashishi Vaswani 이, 트랜스포머 구조를 처음 발표한 구글브레인의 논문이다. Abstract기존의 주요 시퀀스 변환 모델들은 복잡한 순환 신경망(RNN)이나 합성곱 신경망(CNN)을 기반으로 하며, 인코더와 디코더를 포함합니다. 최고 성능의 모델들은 인코더와 디코더를 attention mechanism을 통해 연결합니다. 논문은 이러한 복잡성을 제거하고, 오직 attention 메커니즘만을 사용한 새로운 간단..
2024. 7. 8.