많은 조직들이 애플리케이션에 Azure OpenAI를 통합함에 따라, Microsoft가 발행한 포괄적인 모범 사례를 숙지하는 것이 중요합니다. 하지만 이러한 귀중한 자료들은 여러 문서 페이지에 흩어져 있는 경우가 많아 효율적으로 접근하기 어렵습니다.
이 빠른 참조 가이드는 Azure OpenAI 워크로드의 배포 및 관리에 대한 핵심 모범 사례를 통합합니다. 아키텍처 고려 사항, 보안 조치, 거버넌스 전략, 네트워킹 구성 등을 한데 모아 Azure OpenAI 배포를 효과적으로 최적화하는 데 도움이 되는 중앙 집중식 리소스를 제공하는 것을 목표로 합니다.
아키텍처 고려 사항
견고한 아키텍처는 성공적인 Azure OpenAI 배포의 기반입니다. Azure Well-Architected Framework는 안정적이고 안전하며 효율적인 솔루션을 설계하고 구현하기 위한 지침을 제공합니다.
주요 권장 사항:
- 확장성을 고려한 설계: Azure의 확장 가능한 서비스를 활용하여 다양한 부하를 처리하고, 피크 시간 동안 일관된 성능을 보장합니다.
- 비용 최적화: 불필요한 지출을 피하기 위해 리소스를 모니터링하고 관리합니다. 자동 크기 조정을 구현하고 워크로드 요구 사항에 따라 적절한 가격 책정 계층을 선택합니다.
예: Azure OpenAI를 사용하여 개인화된 추천을 제공하는 전자 상거래 플랫폼은 자동 크기 조정을 활용하여 판매 이벤트 기간 동안 증가된 트래픽을 처리하고, 사용자가 리소스를 과도하게 프로비저닝하지 않고도 시기적절한 제안을 받을 수 있도록 보장합니다.
자세한 아키텍처 지침은 Azure OpenAI Service에 대한 아키텍처 모범 사례를 참조하십시오.
보안 모범 사례
AI 솔루션을 배포할 때 민감한 데이터를 보호하고 규정 준수를 보장하는 것이 가장 중요합니다. Azure는 Azure OpenAI 서비스에 맞춘 포괄적인 보안 기준을 제공합니다.
주요 권장 사항:
- 데이터 암호화: 저장 및 전송 중인 데이터에 대한 암호화를 구현하여 무단 액세스로부터 보호합니다.
- 액세스 제어: Azure의 RBAC(역할 기반 액세스 제어)를 활용하여 AI 리소스에 대한 액세스를 제한하고, 권한 있는 담당자만 민감한 데이터와 상호 작용할 수 있도록 보장합니다.
예: 환자 진단을 위해 Azure OpenAI를 배포하는 의료 제공자는 환자 데이터를 암호화하고 역할에 따라 액세스를 제한하여 HIPAA와 같은 규정을 준수해야 합니다.
포괄적인 보안 지침은 Azure OpenAI에 대한 Azure 보안 기준을 참조하십시오.
거버넌스 전략
효과적인 거버넌스는 AI 배포가 조직 정책 및 규제 요구 사항과 일치하도록 보장합니다. Azure의 거버넌스 권장 사항은 AI 리소스 관리를 위한 프레임워크를 제공합니다.
주요 권장 사항:
- 리소스 태깅: AI 리소스에 대한 일관된 태깅을 구현하여 추적, 관리 및 비용 할당을 용이하게 합니다.
- 정책 시행: Azure Policy를 사용하여 조직 표준을 시행하고 AI 리소스 전반에 걸쳐 규정 준수를 평가합니다.
예: 회사는 리소스 태깅을 사용하여 AI 리소스 비용을 특정 부서에 할당하여 투명성과 책임을 보장할 수 있습니다.
자세한 거버넌스 전략은 Azure에서 AI 워크로드에 대한 거버넌스 권장 사항을 참조하십시오.
네트워킹 고려 사항
효율적이고 안전한 네트워킹은 특히 대규모 데이터 세트 및 실시간 처리를 다룰 때 AI 워크로드에 매우 중요합니다. Azure는 AI 서비스에 맞춘 네트워킹 권장 사항을 제공합니다.
주요 권장 사항:
- 가상 네트워크 (VNet): VNet 내에서 AI 리소스를 격리하여 보안을 강화하고 트래픽 흐름을 제어합니다.
- 프라이빗 엔드포인트: 프라이빗 엔드포인트를 사용하여 AI 서비스에 안전하게 연결하고 공용 인터넷에 대한 노출을 줄입니다.
할당량 관리 및 최적화
Azure는 리소스 사용량을 효과적으로 관리하기 위해 할당량을 부과합니다. 이러한 할당량을 이해하고 최적화하면 중단 없는 AI 운영을 보장할 수 있습니다.
주요 권장 사항:
- 사용량 모니터링: 토큰 사용량과 요청 속도를 정기적으로 모니터링하여 할당된 할당량 내에 머무르십시오.
- 할당량 증가를 사전에 요청: 할당량 제한에 접근하는 경우 서비스 중단을 방지하기 위해 사전에 할당량 증가를 요청하십시오.
예: 사용자 상호 작용이 증가한 챗봇 서비스는 토큰 사용량을 모니터링하고 원활한 사용자 경험을 유지하기 위해 할당량 조정을 예측해야 합니다.
자세한 할당량 관리는 다음을 참조하십시오.
예: AI를 사용하여 실시간 트랜잭션을 처리하는 금융 기관은 VNet 및 프라이빗 엔드포인트를 사용하여 데이터가 안전한 네트워크 경계 내에 유지되도록 하여 데이터 유출 위험을 완화할 수 있습니다.
포괄적인 네트워킹 지침은 Azure에서 AI 워크로드에 대한 네트워킹 권장 사항을 참조하십시오.
프로비저닝된 처리량 단위 (PTU)
일관되고 예측 가능한 성능이 필요한 워크로드의 경우 Azure는 프로비저닝된 처리량 단위 (PTU)를 제공합니다.
주요 권장 사항:
- 워크로드 요구 사항 평가: PTU가 워크로드의 성능 요구 사항 및 비용 고려 사항과 일치하는지 확인하십시오.
- 확장성 계획: 예상되는 성장을 기반으로 PTU를 할당하여 AI 시스템이 증가된 수요를 처리할 수 있도록 보장하십시오.
- 활용률 모니터링: 최적의 성능과 비용 효율성을 보장하기 위해 PTU 활용률을 정기적으로 모니터링하십시오.
예: 콘텐츠 추천에 Azure OpenAI를 사용하는 스트리밍 서비스는 피크 시청 시간 동안 일관된 성능을 보장하기 위해 PTU를 배포할 수 있습니다.
PTU에 대한 자세한 내용은 Azure OpenAI 서비스의 프로비저닝된 처리량 단위 (PTU)를 참조하십시오.
모니터링 및 로깅
포괄적인 모니터링 및 로깅은 AI 시스템의 상태와 성능을 유지하는 데 매우 중요합니다. Azure는 AI 서비스를 효과적으로 모니터링하는 도구를 제공합니다.
주요 권장 사항:
- 진단 로그 활성화: 문제 해결 및 성능 분석을 위해 자세한 로그를 캡처하십시오.
- 경고 설정: 이상 또는 성능 저하에 대한 경고를 구성하여 사전 대응을 가능하게 합니다.
- Azure Monitor 활용: Azure Monitor를 사용하여 Azure OpenAI 리소스에서 원격 측정 데이터를 수집, 분석 및 조치하십시오.
예: 고객 지원 챗봇에 Azure OpenAI를 사용하는 온라인 소매업체는 응답 시간의 비정상적인 급증을 감지하기 위해 경고를 설정하여 즉각적인 조사 및 해결을 가능하게 합니다.
포괄적인 모니터링 지침은 Azure OpenAI 서비스 모니터링 문서를 참조하십시오.
Azure OpenAI를 위한 다중 지역 게이트웨이 배포 전략
지리적으로 분산된 Azure OpenAI 사용자의 안정성, 지연 시간 및 복원력을 강화하기 위해 다중 지역 API 게이트웨이 아키텍처를 적극 권장합니다. 이는 엔지니어링 팀과 현장 전문가에게 핵심적인 초점이 되었으며, 그럴 만한 이유가 있습니다. 지역 중단, 높은 트래픽 시나리오 또는 백엔드 제한은 가용성에 영향을 미칠 수 있습니다. 잘 설계된 게이트웨이 설정은 이러한 문제를 완화하는 데 도움이 됩니다.
이것이 중요한 이유
- 여러 Azure OpenAI 배포 또는 모델에서 요청을 지능적으로 라우팅할 수 있습니다.
- 가장 가까운 지역에서 트래픽을 제공하여 지연 시간을 최소화합니다.
- 단일 실패 지점을 줄이고 재해 복구 태세를 개선합니다.
구현 패턴 이를 프로덕션 환경에 구현하는 데는 두 가지 주요 패턴이 있습니다.
옵션 1: Azure API Management 프리미엄 – 다중 지역 배포 (엔터프라이즈 규모에 권장)
이 옵션은 Premium 계층에서 사용할 수 있는 Azure API Management의 기본 제공 다중 지역 배포 기능을 활용합니다. (Azure API Management를 여러 지역에 배포)
장점:
- 게이트웨이 구성 요소를 여러 Azure 지역에 복제합니다.
- 트래픽은 지연 시간을 기준으로 가장 가까운 지역 게이트웨이로 자동 라우팅됩니다.
- 지역 장애 발생 시 지역화된 액세스 지점과 높은 가용성을 보장합니다.
고려 사항:
- Premium 계층이 필요합니다 (높은 비용).
- 관리 평면 및 개발자 포털은 기본 지역에 유지됩니다.
옵션 2: 외부 로드 밸런서가 있는 표준 계층 APIM (비용 효율적인 대안)
Premium 계층이 불가능한 경우 각 지역에 별도의 APIM 인스턴스(표준 계층 이상)를 배포하고 Azure Front Door 또는 Traffic Manager와 같은 글로벌 로드 밸런서를 사용하여 트래픽을 분산할 수 있습니다.
단계:
- 여러 APIM 인스턴스를 서로 다른 지역에 독립적으로 배포합니다.
- Azure Front Door 또는 Traffic Manager를 사용하여 지리적 근접성 또는 지연 시간을 기준으로 트래픽을 라우팅합니다.
- 모든 APIM 인스턴스에서 일관된 구성을 유지합니다.
장단점:
- 기본 제공 다중 지역 복제가 없습니다. 수동 구성 동기화가 필요합니다.
- 비용 측면에서 더 유연하며 점진적인 확장을 지원합니다.
복원력을 강화하기 위한 추가 전략
- 다중 백엔드 게이트웨이 패턴: 성능, 가용성 또는 워크로드 유형에 따라 요청을 다른 OpenAI 배포/모델로 라우팅하도록 APIM을 구성합니다.
- 공용 백본 소비: Microsoft 공용 백본을 통해 연결되는 게이트웨이를 사용하여 성능을 개선하고 공용 인터넷 라우팅에 대한 노출을 줄입니다.
- 비즈니스 연속성 및 재해 복구 (BCDR): 장애 발생 시 원활한 경험을 보장하기 위해 장애 조치 규칙, 캐싱 및 재시도 정책을 통합합니다.
예: Azure OpenAI를 사용하여 내부 직원 지원을 위해 배포하는 다국적 기업은 미국 동부, 서유럽 및 동남아시아에 배포를 만듭니다. Premium 계층을 사용하여 지역 APIM 게이트웨이를 설정하고 Azure Front Door를 통해 트래픽을 지능적으로 라우팅합니다. 미국 동부 지역을 사용할 수 없는 경우 사용자는 지연 시간 영향이 최소화된 상태로 서유럽으로 자동 라우팅되어 가동 시간과 생산성을 보장합니다.
리소스:
보너스: 전체 Azure OpenAI 검토 체크리스트 다운로드
Azure OpenAI 구현을 평가하는 구조화된 방법을 찾고 있다면 Azure 검토 체크리스트는 이제 거버넌스, 운영, 네트워킹, ID, 비용 관리 및 비즈니스 연속성 및 재해 복구(BCDR)와 같은 모든 핵심 영역에 대한 AI 랜딩 존을 다루는 180개 이상의 모범 사례 항목이 포함된 포괄적인 체크리스트를 제공합니다.
- 공식 검토 체크리스트 Excel 통합 문서를 다운로드합니다.
- AI 랜딩 존을 선택하고 클릭하여 최신 체크리스트를 가져옵니다.
- AI 랜딩 존 체크리스트를 로드하고 Microsoft 문서에 대한 직접 참조 링크와 함께 범주화된 권장 사항을 살펴보십시오.
이 체크리스트는 아키텍처 결정을 검증하고, 격차를 발견하고, 기술 및 거버넌스 도메인 전반에서 구현 토론을 안내하는 강력한 도구입니다.
결론
이러한 모범 사례를 준수함으로써 조직은 Azure OpenAI 워크로드를 효과적으로 관리하고 보호하여 안정적이고 효율적이며 업계 표준에 부합하는지 확인할 수 있습니다.