SageMaker AI 엔드포인트 호스팅 LLM을 Strands 에이전트와 연동하기 위한 커스텀 모델 프로바이더 구축

이 게시물에서는 Bedrock Messages API 형식을 기본적으로 지원하지 않는 SageMaker 호스팅 LLM을 Strands 에이전트와 연동할 때, 커스텀 모델 파서를 구축하는 방법을 설명합니다. 저희는 awslabs/ml-container-creator를 사용하여 SGLang과 함께 SageMaker에 Llama 3.1을 배포하는 과정을 다루고, 이어서 Strands 에이전트와 연동하기 위한 커스텀 파서를 구현할 것입니다.