서론

Azure에서 AI 기반 애플리케이션을 구축할 때 가장 중요한 결정 중 하나는 어떤 모델을 사용할지가 아니라, 애플리케이션이 런타임에 모델을 선택하는 방법입니다. **Microsoft Foundry 모델 라우터**는 Microsoft Foundry를 통해 사용할 수 있으며, 프롬프트 복잡성, 지연 시간 목표 및 비용 효율성을 기반으로 추론 요청을 가장 적합한 모델로 자동 라우팅합니다. 하지만 실제로 올바르게 라우팅되고 있는지 어떻게 알 수 있을까요? 그리고 여러 API 경로에서 모델 라우터의 동작을 어떻게 비교할 수 있을까요?

이것이 바로 **RouteLens**가 해결하는 문제입니다. RouteLens는 구성 가능한 프롬프트를 두 가지 별개의 Azure AI 런타임 경로를 통해 전송하고, 라우팅 결정, 지연 시간 프로필, 신뢰성 지표에 대한 자세한 비교 결과를 제공하는 오픈 소스 Node.js CLI 및 웹 기반 테스트 도구입니다.

이 게시물에서는 모델 라우터가 무엇을 하는지, 왜 중요한지, 검증 도구를 사용하는 방법, 그리고 지능형 모델 라우팅을 최대한 활용하는 애플리케이션 설계 모범 사례에 대해 설명합니다.

Microsoft Foundry 모델 라우터란?

Microsoft Foundry 모델 라우터는 Microsoft Foundry의 배포 옵션으로, 애플리케이션과 AI 모델 풀 사이에 위치합니다. gpt-4o 또는 gpt-4o-mini와 같은 특정 모델을 하드코딩하는 대신, **모델 라우터 엔드포인트**를 배포하고 Azure가 각 요청에 어떤 기본 모델을 제공할지 결정하도록 합니다.

작동 방식

1. 애플리케이션은 모델 라우터 배포에 추론 요청을 보냅니다.
2. 모델 라우터는 요청(프롬프트 복잡성, 토큰 수, 필요한 기능)을 분석합니다.
3. 사용 가능한 풀에서 가장 적합한 모델을 선택합니다.
4. 응답은 투명하게 반환되며 — 애플리케이션 코드는 변경되지 않습니다.

이것이 중요한 이유

• 비용 최적화 — 간단한 프롬프트는 더 작고 저렴한 모델로 라우팅됩니다. 복잡한 프롬프트는 더 유능하고(그리고 비싼) 모델로 전달됩니다.
• 지연 시간 감소 — 가벼운 프롬프트는 무거운 모델이 필요 없을 때 더 빠르게 완료됩니다.
• 복원력 — 한 모델이 높은 부하 또는 조절을 겪고 있는 경우, 트래픽을 다른 대안으로 전환할 수 있습니다.
• 간소화된 애플리케이션 코드 — 자체 모델 선택 로직을 구축할 필요가 없습니다.

두 가지 런타임 경로

Microsoft Foundry는 모델 라우터에 접근하기 위한 두 가지 고유한 엔드포인트 구성을 제공합니다. 둘 다 Chat Completions API를 사용하지만, 라우팅 동작이 다를 수 있습니다.

이 두 경로가 동일한 라우팅 결정을 내리는지 이해하는 것은 프로덕션 애플리케이션에 매우 중요합니다. 사용하는 엔드포인트에 따라 동일한 프롬프트가 다른 모델로 라우팅된다면, 이는 조사가 필요한 신호입니다.

RouteLens 소개

RouteLens는 이러한 비교를 자동화하는 Node.js 도구입니다. 이 도구는 다음과 같은 기능을 제공합니다:

1. 구성 가능한 프롬프트 세트를 전송합니다 — (에코, 요약, 코드, 추론) 카테고리 전반에 걸쳐 두 경로를 통해 전송합니다.
2. 모든 응답을 로깅합니다 — 사후 분석을 위해 구조화된 JSONL 파일로 로깅합니다.
3. 통계를 계산합니다 — p50/p95 지연 시간, 오류율 및 모델 선택 분포를 포함합니다.
4. 라우팅 차이를 강조합니다 — 동일한 프롬프트가 경로별로 다른 모델에 의해 처리된 경우를 강조 표시합니다.
5. 웹 대시보드를 제공합니다 — 대화형 테스트 및 실시간 결과 시각화를 위한 웹 대시보드를 제공합니다.

웹 대시보드

내장된 웹 UI를 통해 로그 파일을 파싱할 필요 없이 쉽게 테스트를 실행하고 결과를 탐색할 수 있습니다:


대시보드에는 다음이 포함됩니다:

• KPI 대시보드 — 성공률, 평균 TPS, 생성 TPS, 최고 TPS, 가장 빠른 응답, p50/p95 지연 시간, 가장 신뢰할 수 있는 경로, 총 토큰 등 핵심 지표를 한눈에 볼 수 있습니다.
• 요약 보기 — 경로/카테고리별 통계(성공률, TPS, 지연 시간 포함)
• 모델 비교 — 각 경로에서 어떤 모델이 선택되었는지 나란히 보여주는 보기
• 지연 시간 차트 — p50 및 p95 지연 시간을 비교하는 시각적 막대 차트
• 오류 분석 — 오류 분포 및 자세한 오류 메시지
• 라이브 피드 — 실시간으로 들어오는 결과 스트리밍
• 로그 뷰어 — 기록 JSONL 로그 파일을 찾아보고 검사

모델 비교 — 각 프롬프트에 대해 각 라우팅 경로가 어떤 모델을 선택했는지 확인:


라이브 피드 — 실시간으로 들어오는 결과 스트리밍:


로그 뷰어 — 파싱된 테이블 보기로 기록 JSONL 로그 파일을 찾아보고 검사:


모바일 반응형 — UI는 작은 화면에 맞게 조정됩니다:

 width="400" />

시작하기

전제 조건

• Node.js 18+ (LTS 권장)
• Foundry 프로젝트가 있는 Azure 구독
• Foundry 프로젝트에 배포된 모델 라우터
• Azure OpenAI / Foundry 리소스의 API 키
• API 버전 (예: 2024-05-01-preview)

설치