llm-d로 구동되는 AWS의 분리형 추론을 소개합니다

이 블로그 게시물에서는 분리형 서빙, 지능형 요청 스케줄링, 전문가 병렬 처리 등 차세대 추론 기능의 배경이 되는 개념들을 소개합니다. 저희는 이러한 기능의 이점을 논의하고, Amazon SageMaker HyperPod EKS에서 이를 구현하여 추론 성능, 리소스 활용률, 운영 효율성에서 상당한 개선을 달성하는 방법을 단계별로 안내합니다.