우리는 우리가 직접 고객에게 제공하는 제품들과 동일한 제품들을 기반으로 내부 AI 엔지니어링 스택을 구축했습니다. 이는 AI Gateway를 통해 2,000만 건의 요청을 라우팅하고, 2,410억 개의 토큰을 처리하며, Workers AI에서 추론을 실행하여 3,683명 이상의 내부 사용자에게 서비스를 제공하고 있음을 의미합니다. 우리가 이를 어떻게 구현했는지 그 과정을 소개합니다.
Programming Notes
프로그래밍과 기술 이슈를 빠르게 정리하는 개발 블로그
Programming Notes
우리는 우리가 직접 고객에게 제공하는 제품들과 동일한 제품들을 기반으로 내부 AI 엔지니어링 스택을 구축했습니다. 이는 AI Gateway를 통해 2,000만 건의 요청을 라우팅하고, 2,410억 개의 토큰을 처리하며, Workers AI에서 추론을 실행하여 3,683명 이상의 내부 사용자에게 서비스를 제공하고 있음을 의미합니다. 우리가 이를 어떻게 구현했는지 그 과정을 소개합니다.