목록으로

Programming Notes

Amazon SageMaker AI LLM 추론을 위한 종합적인 관측성: GPU 활용률부터 LLM 품질까지

이 게시물에서는 Amazon Managed Grafana 대시보드를 사용하여, 추론 컴포넌트(inference components)가 포함된 Amazon SageMaker AI 엔드포인트에서 서비스되는 LLM의 품질(quality)과 정량적 지표(quantity) 모두에 대한 통합적인 시각을 제공하는 종합적인 관측성(observability) 솔루션을 소개합니다.