우리는 확장 가능하고 특정 태스크에 국한되지 않는(task-agnostic) 시스템을 통해 다양한 언어 과제에서 최첨단(state-of-the-art) 성과를 거두었으며, 이 시스템을 함께 공개합니다. 우리의 접근 방식은 기존의 두 가지 아이디어인 트랜스포머(transformers)와 비지도 사전 학습(unsupervised pre-training)을 결합한 것입니다. 이러한 결과는 지도 학습 방법과 비지도 사전 학습을 결합하는 것이 매우 효과적이라는 설득력 있는 사례를 제시합니다. 이는 과거에도 많은 이들이 연구해 온 아이디어이며, 우리의 연구 결과가 더 크고 다양한 데이터셋에 이 아이디어를 적용하는 후속 연구의 동기가 되기를 바랍니다.
Programming Notes