Amazon SageMaker AI는 머신러닝 모델을 위한 완전 관리형 실시간 추론 호스팅을 제공합니다. 사용자는 하나 이상의 컴퓨팅 인스턴스로 지원되는 SageMaker 엔드포인트에 모델을 배포하며, SageMaker는 프로비저닝과 확장(scaling)을 직접 처리합니다.
SageMaker는 다양한 엔드포인트 아키텍처를 지원합니다. 이 게시물은 세부적인 관측성(observability)을 제공하며 생성형 AI 워크로드와 가장 관련이 깊은 두 가지 방식인 **단일 모델 엔드포인트(Single-model endpoints, SME)**와 추론 구성 요소(Inference component, IC) 엔드포인트에 초점을 맞춥니다.