Amazon Bedrock 고객은 이제 InvokeModel 및 InvokeModelWithResponseStream API에서 개별 요청 단위로 모델 추론 사용량을 특정 팀, 애플리케이션, 환경 및 실험별로 추적할 수 있습니다. 이를 통해 고객은 조직 전체에서 Amazon Bedrock 사용량이 어떻게 분산되어 있는지에 대한 세밀한 가시성을 확보할 수 있으며, 추가 리소스를 프로비저닝하지 않고도 소비 패턴을 파악하고 비용을 최적화하며 내부 이해관계자에게 사용량을 보고하는 데 도움을 얻을 수 있습니다.
이번 출시는 Amazon Bedrock의 기존 사용량 추적 기능 포트폴리오를 기반으로 합니다. 고객은 이미 애플리케이션 추론 프로필, IAM 보안 주체(Principal) 기반 속성 부여, OpenAI 호환 bedrock-mantle 엔드포인트의 프로젝트 수준 추적, Anthropic Claude 모델의 워크스페이스 수준 추적 등을 통해 리소스 및 ID 수준에서 모델 추론 사용량을 추적할 수 있습니다. 더 세밀한 요청별 추적을 위해 Converse 및 ConverseStream API는 출시 당시부터 요청 수준 메타데이터를 지원해 왔습니다. 오늘 발표를 통해 InvokeModel 및 InvokeModelWithResponseStream API에도 동일한 기능이 도입되었으며, 고객은 전체 bedrock-runtime 엔드포인트에서 추론 호출에 태그를 지정하는 일관된 방법을 사용할 수 있게 되었습니다.
이 기능을 통해 고객은 각 Amazon Bedrock 모델 추론 호출에 팀, 프로젝트 또는 환경과 같은 속성을 태그로 지정할 수 있으며, Amazon Bedrock 모델 호출 로그에서 이러한 태그별로 사용량을 분석할 수 있습니다. 시작하려면 Amazon Bedrock을 호출하는 AWS 리전에서 모델 호출 로깅을 활성화한 다음, 추론 요청에 메타데이터를 추가하면 됩니다. 이 기능은 Amazon Bedrock이 제공되는 모든 AWS 상용 리전에서 사용할 수 있습니다. 자세한 내용은 요청 메타데이터(Request metadata)를 참조하세요.