어텐션 이즈 올 유 니드는 2017년 12월 네이처(NeurIPS) 학술대회에서 발표된 논문 *“Attention Is All You Need”*의 영문 원제목을 한국어 음역한 표현이다. 본 논문은 자연어 처리 분야에서 기존의 순환 신경망(RNN)·컨볼루션 신경망(CNN) 기반 모델을 대체할 수 있는 완전한 어텐션(attention) 기반 구조인 Transformer 모델을 최초로 제안하였다.
개요
- 제목: Attention Is All You Need (한국어 음역: 어텐션 이즈 올 유 니드)
- 출판연도: 2017년 12월
- 학술대회: NIPS(현재 NeurIPS) 2017 논문집
- 저자: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin
배경
당시 기계 번역·언어 모델링 등 시퀀스‑투‑시퀀스(sequence‑to‑sequence) 과제에서는 인코더‑디코더 구조에 LSTM·GRU와 같은 순환 신경망(RNN)이나 1차원 컨볼루션(CNN)이 주로 활용되었다. 이러한 구조는 장기 의존성 학습에 제한이 있거나 연산 병목이 발생하는 문제가 있었다.
주요 내용
-
완전 어텐션 구조
- 입력 시퀀스를 처리하는 인코더와 출력 시퀀스를 생성하는 디코더 모두를 멀티‑헤드 셀프 어텐션(self‑attention) 레이어와 피드‑포워드 신경망(feed‑forward network) 로 구성하였다.
- 순환·컨볼루션 연산을 전혀 사용하지 않으며, 모든 토큰 간의 직접적인 관계를 어텐션 메커니즘으로 학습한다.
-
포지셔널 인코딩(Positional Encoding)
- 순서를 인식하기 위해 입력 임베딩에 사인·코사인 기반의 절대 위치 인코딩을 더한다.
-
성능 및 효율성
- 영어‑프랑스어, 영어‑독일어 번역 과제에서 기존 최첨단 모델 대비 BLEU 점수가 상승했으며, 학습 시간은 동일 조건에서 약 6배 가량 단축되었다.
영향
- Transformer는 이후 BERT, GPT 시리즈, T5, Vision Transformer(ViT) 등 수많은 파생 모델의 기반이 되었으며, 자연어 처리·컴퓨터 비전·음성 인식 등 다양한 분야에 광범위하게 적용되고 있다.
- 논문의 제안 방식은 “어텐션이 전부다”라는 의미를 내포하며, “어텐션 이즈 올 유 니드”라는 표현은 한국어 학술·기술 커뮤니티에서 해당 논문을 지칭하거나, 어텐션 기반 모델의 중요성을 강조할 때 비공식적으로 사용된다.
참고문헌
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention Is All You Need. In Advances in Neural Information Processing Systems (NeurIPS 2017).
- Dong, L., Wu, H., & He, P. (2020). “Transformer”. Springer Handbook of Computational Intelligence (chapter).
※ 본 항목은 “어텐션 이즈 올 유 니드”라는 표현이 실제 논문의 한국어 음역이며, 해당 논문 자체가 과학·기술 분야에서 널리 인정받는 공신력 있는 문헌임을 근거로 작성하였다.