Kubernetes 커뮤니티에는 관심 있는 기여자들 간의 중요한 주제에 대한 논의를 촉진하는 여러 SIG(Special Interest Group)와 WG(Working Group)가 있습니다. 오늘 저희는 Kubernetes 환경에서 AI 워크로드를 지원하는 네트워킹 인프라를 위한 표준 및 모범 사례를 개발하는 데 중점을 둔 새로운 이니셔티브인 AI 게이트웨이 워킹 그룹의 결성을 발표하게 되어 기쁩니다.
AI 게이트웨이란 무엇인가요?
AI 게이트웨이는 Kubernetes 컨텍스트에서 일반적으로 Gateway API 명세를 구현하며, AI 워크로드를 위한 향상된 기능을 갖춘 네트워크 게이트웨이 인프라(프록시 서버, 로드 밸런서 등 포함)를 의미합니다. AI 게이트웨이는 개별적인 제품 범주를 정의하기보다는 AI 트래픽에 대한 정책을 적용하도록 설계된 인프라를 설명하며, 여기에는 다음이 포함됩니다.
- AI API를 위한 토큰 기반 속도 제한.
- 추론 API를 위한 세분화된 접근 제어.
- 지능형 라우팅, 캐싱 및 가드레일을 가능하게 하는 페이로드 검사.
- AI 특정 프로토콜 및 라우팅 패턴 지원.
워킹 그룹 헌장 및 임무
AI 게이트웨이 워킹 그룹은 Kubernetes SIG(Special Interest Group) 및 해당 서브 프로젝트를 위한 제안을 개발하는 임무를 가진 명확한 헌장에 따라 운영됩니다. 주요 목표는 다음과 같습니다.
- 표준 개발: Kubernetes에서 AI 워크로드 네트워킹을 위한 선언적 API, 표준 및 지침 개발.
- 커뮤니티 협업: AI 인프라를 위한 모범 사례에 대한 논의를 촉진하고 합의 구축.
- 확장 가능한 아키텍처: AI 특정 게이트웨이 확장을 위한 구성 가능성, 플러그인 기능 및 순서 지정된 처리를 보장.
- 표준 기반 접근 방식: 검증된 표준 위에 AI 특정 기능을 계층화하여 기존 네트워킹 기반 위에 구축.
현재 진행 중인 제안
AI 게이트웨이 워킹 그룹은 현재 AI 워크로드 네트워킹의 주요 과제를 해결하는 여러 활발한 제안을 가지고 있습니다.
페이로드 처리
페이로드 처리 제안은 AI 워크로드가 전체 HTTP 요청 및 응답 페이로드를 검사하고 변환해야 하는 중요한 요구 사항을 다룹니다. 이를 통해 다음이 가능해집니다.
AI 추론 보안
- 악성 프롬프트 및 프롬프트 주입 공격 방어.
- AI 응답을 위한 콘텐츠 필터링.
- AI 트래픽에 대한 시그니처 기반 및 이상 탐지.
AI 추론 최적화
- 요청 콘텐츠 기반의 의미론적 라우팅.
- 추론 비용을 줄이고 응답 시간을 개선하기 위한 지능형 캐싱.
- 컨텍스트 강화를 위한 RAG(Retrieval-Augmented Generation) 시스템 통합.
이 제안은 선언적 페이로드 프로세서 구성, 순서 지정된 처리 파이프라인 및 구성 가능한 실패 모드에 대한 표준을 정의하며, 이 모든 것은 프로덕션 AI 워크로드 배포에 필수적입니다.
이그레스 게이트웨이
현대의 AI 애플리케이션은 특수 모델, 페일오버 시나리오 또는 비용 최적화를 위해 외부 추론 서비스에 점점 더 의존하고 있습니다. 이그레스 게이트웨이 제안은 클러스터 외부로 트래픽을 안전하게 라우팅하기 위한 표준을 정의하는 것을 목표로 합니다. 주요 기능은 다음과 같습니다.
외부 AI 서비스 통합
- 클라우드 기반 AI 서비스(OpenAI, Vertex AI, Bedrock 등)에 대한 안전한 액세스.
- 타사 AI API를 위한 관리형 인증 및 토큰 주입.
- 지역 규정 준수 및 페일오버 기능.
고급 트래픽 관리
- 외부 FQDN 및 서비스를 위한 백엔드 리소스 정의.
- TLS 정책 관리 및 인증 기관 제어.
- 중앙 집중식 AI 인프라를 위한 크로스 클러스터 라우팅.
우리가 다루는 사용자 스토리
- 외부 AI 서비스에 대한 관리형 액세스를 제공하는 플랫폼 운영자.
- 여러 클라우드 공급자 간에 추론 페일오버를 필요로 하는 개발자.
- AI 트래픽에 대한 지역 제한을 강제하는 규정 준수 엔지니어.
- 전용 클러스터에 AI 워크로드를 중앙 집중화하는 조직.
예정된 행사
KubeCon + CloudNativeCon Europe 2026, 암스테르담
AI 게이트웨이 워킹 그룹 구성원들은 암스테르담에서 열리는 KubeCon + CloudNativeCon Europe에서 AI와 네트워킹의 교차점에서 발생하는 문제, 워킹 그룹의 활발한 제안, 그리고 AI 게이트웨이와 모델 컨텍스트 프로토콜(MCP) 및 에이전트 네트워킹 패턴의 교차점에 대해 발표할 예정입니다. 이 세션은 AI 게이트웨이 워킹 그룹 제안이 차세대 AI 배포 및 통신 패턴에 필요한 인프라를 어떻게 가능하게 하는지 보여줄 것입니다. 또한 이 세션에서는 워킹 그룹의 로드맵을 형성하는 초기 설계, 초기 프로토타입 및 새로운 방향이 포함될 것입니다. 더 자세한 내용은 다음 세션에서 확인하세요.
참여 방법
AI 게이트웨이 워킹 그룹은 AI 워크로드 네트워킹을 표준화하려는 Kubernetes 커뮤니티의 의지를 나타냅니다. AI가 현대 애플리케이션에 점점 더 필수적인 부분이 됨에 따라, Kubernetes 사용자들이 기대하는 보안, 관측 가능성 및 안정성 표준을 유지하면서 추론 워크로드의 고유한 요구 사항을 지원할 수 있는 강력하고 표준화된 인프라가 필요합니다. 저희의 제안들은 현재 활발히 개발 중이며, 다양한 게이트웨이 프로젝트에서 구현이 시작되고 있습니다. 저희는 Gateway API 개선을 위해 SIG Network와 긴밀히 협력하고 있으며, 저희의 표준이 실제 프로덕션 요구 사항을 충족하도록 더 넓은 클라우드 네이티브 커뮤니티와 협력하고 있습니다.
게이트웨이 구현자, 플랫폼 운영자, AI 애플리케이션 개발자 또는 단순히 Kubernetes와 AI의 교차점에 관심 있는 분이시라면 누구든지 여러분의 의견을 환영합니다. 워킹 그룹은 개방형 기여 모델을 따릅니다. 저희 제안을 검토하거나, 주간 회의에 참여하거나, GitHub 저장소에서 토론을 시작할 수 있습니다. 더 자세히 알아보려면:
- 워킹 그룹의 전체 GitHub 저장소를 방문하세요.
- 워킹 그룹의 헌장을 읽어보세요.
- 매주 목요일 오후 2시(EST)에 주간 회의에 참여하세요.
- Slack(#wg-ai-gateway)에서 워킹 그룹과 연결하세요(https://slack.k8s.io/에서 초대장을 받을 수 있습니다).
- AI 게이트웨이 메일링 리스트에 가입하세요.
Kubernetes의 AI 인프라의 미래는 오늘 만들어지고 있습니다. 참여하여 Kubernetes에서 AI 인식 게이트웨이 기능의 미래를 형성하는 데 어떻게 기여할 수 있는지 알아보세요.