오늘 Amazon SageMaker AI 추론을 위한 컨테이너 이미지 캐싱(container image caching) 기능 출시를 발표하게 되어 매우 기쁩니다. 이는 모델 확장을 더욱 가속화하려는 저희의 여정에서 한 단계 더 나아간 중요한 성과입니다.
이 기능을 통해 스케일 아웃(scale-out) 이벤트가 발생할 때 생성형 AI 모델의 엔드 투 엔드(end-to-end) 지연 시간을 최대 2배까지 단축할 수 있습니다.
Programming Notes