새로운 CloudWatch TTFT 및 예상 할당량 소비 지표로 Amazon Bedrock 추론 워크로드의 운영 가시성 향상

오늘, 저희는 Amazon Bedrock을 위한 두 가지 새로운 Amazon CloudWatch 지표인 TimeToFirstToken과 EstimatedTPMQuotaUsage를 발표합니다. 이 게시물에서는 이 지표들이 어떻게 작동하는지, 그리고 이를 사용하여 알람을 설정하고, 기준선을 수립하며, 용량을 선제적으로 관리하는 방법을 다룹니다.