에이전트형 AI(agentic AI) 솔루션을 구축할 때는 고유한 운영상의 과제에 직면하게 됩니다. 에이전트는 때때로 예측할 수 없는 결정을 내리고, 비용이 예기치 않게 급증하며, 비결정론적(non-deterministic) 실패를 디버깅하는 것이 불가능해 보이기도 합니다.
에이전트형 AI 애플리케이션은 단순히 미리 정해진 워크플로우만을 실행하지 않습니다. 스스로 추론하고 적응하며 자율적인 의사결정을 내리기 때문에, 기존의 DevOps 관행 역시 이에 맞춰 조정되어야 합니다. 바로 이 지점에서 AgentOps가 등장합니다. AgentOps는 프로덕션 환경에서 AI 에이전트를 배포, 관리 및 지속적으로 개선하기 위한 운영 체계입니다.