블록 희소 GPU 커널

저희는 아직 충분히 탐구되지 않은 신경망 아키텍처, 즉 블록 희소(block-sparse) 가중치를 사용하는 네트워크를 위한 고도로 최적화된 GPU 커널을 공개합니다. 선택하는 희소도에 따라, 이 커널들은 cuBLAS나 cuSPARSE보다 수십 배 빠르게 실행될 수 있습니다. 저희는 이 커널들을 사용하여 텍스트 감성 분석 및 텍스트와 이미지의 생성 모델링에서 최첨단(state-of-the-art) 결과를 달성했습니다.