Amazon SageMaker HyperPod는 이제 Claude Code, Cursor, Kiro와 같은 AI 코딩 어시스턴트에 전문가 수준의 AI/ML 클러스터 진단 기능을 직접 제공하는 트러블슈팅 기술을 지원합니다. SageMaker HyperPod는 대규모 파운데이션 모델의 개발, 학습 및 배포를 위해 구축된 전용 인프라입니다. 이 서비스는 내장된 결함 허용(fault tolerance) 기능과 자동 클러스터 복구 기능을 통해 복원력 있고 우수한 성능의 환경을 제공하며, 대규모 AI/ML 인프라 관리라는 차별화되지 않은 과중한 업무(heavy lifting)를 줄여줍니다. HyperPod 기술을 사용하면 자연어를 통해 클러스터 문제를 진단하고 해결할 수 있어, 분산 학습 및 추론 인프라의 문제를 해결하는 데 필요한 시간과 전문 지식의 부담을 덜 수 있습니다.
대규모 분산 클러스터에서 GPU 하드웨어 결함을 디버깅하고, NCCL 통신 오류를 진단하며, 성능 병목 현상을 식별하는 작업은 여전히 복잡하고 많은 시간이 소요됩니다. 운영자는 종종 노드에 수동으로 SSM 접속을 하고, 수십 개의 인스턴스 로그를 파싱하며, 문서를 일일이 대조해야 합니다. 새로운 HyperPod 트러블슈팅 기술은 클러스터 상태 검증, 하드웨어 및 통신 진단, 소프트웨어 버전 드리프트(drift) 감지, 자동 진단 보고 등의 기능을 통해 문제 해결 시간을 단축해 줍니다. 각 기술은 AWS 모범 사례를 구조화된 진단 워크플로우로 캡슐화하여, AI 에이전트가 AWS Systems Manager를 통해 클러스터 노드에서 증거를 수집하고, 패턴을 분석하며, 실행 가능한 권장 사항을 제공하도록 체계적으로 안내합니다. 이 기술은 기존 HyperPod 인프라에서 그대로 작동하며 별도의 수정이 필요하지 않습니다.
HyperPod 트러블슈팅 기술은 오픈 소스로 제공되며, 현재 Slurm 및 Amazon EKS로 오케스트레이션된 HyperPod 클러스터 모두에서 SageMaker AI 기술 플러그인을 통해 사용할 수 있습니다. 시작하려면 AWSLabs GitHub 리포지토리를 방문하여 선호하는 코딩 어시스턴트에 sagemaker-ai 플러그인을 설치하세요.