Command A+는 뛰어난 효율성과 확장성을 갖춘 엔터프라이즈급 에이전틱(agentic) AI 워크로드를 위해 설계된 코히어의 최신 전문가 혼합(MoE, Mixture-of-Experts) 모델입니다. Apache 2.0 라이선스로 출시된 이 모델은 추론, 멀티모달 이해, 다국어 기능, 정보 검색 및 도구 사용 기능을 실제 기업용 AI 애플리케이션에 최적화된 단일 통합 모델로 결합했습니다.
기업용 에이전틱 AI를 위해 구축
Command A+는 강력한 추론, 오케스트레이션 및 운영 효율성이 필요한 실제 기업 워크로드에 최적화되어 있습니다.
이 모델은 다음과 같은 시나리오를 위해 설계되었습니다:
- 에이전틱 워크플로우 및 자율 시스템
- 검색 증강 생성(RAG)
- 멀티모달 문서 이해
- 기업용 검색 및 지식 검색
- 코딩 및 비즈니스 자동화
- 다국어 기업용 애플리케이션
Command A+ 지원 사양:
- 128K 컨텍스트 창(Context Window)
- 텍스트, 이미지 및 도구 사용(Tool-use) 입력
- 추론 및 도구 사용 출력
- 48개 언어 지원
- vLLM 및 Transformers 프레임워크 지원
Microsoft Foundry의 매니지드 컴퓨팅을 통한 배포
Microsoft Foundry의 매니지드 컴퓨팅(Managed Compute)을 통해 기업은 전용 매니지드 인프라에 Command A+를 배포하는 동시에, 개발, 배포, 평가 및 운영 전반에 걸쳐 통합된 AI 플랫폼 경험을 누릴 수 있습니다.
매니지드 컴퓨팅을 통해 고객은 다음을 수행할 수 있습니다:
- 복잡한 AI 서빙 스택을 직접 관리하지 않고도 관리형 인프라에 오픈 소스 모델 배포
- 성능 및 인프라에 대한 제어력을 높여 AI 워크로드 확장
- 처리량, 지연 시간 및 운영 효율성 최적화
- 모델 및 워크로드 전반의 배포 및 운영 표준화
- AI 거버넌스, 모니터링 및 평가 워크플로우를 프로덕션 시스템에 통합
이 배포 모델은 오픈 소스 모델을 활용하면서도 기업 수준의 신뢰성과 운영의 단순성을 유지하고자 하는 조직에 특히 유용합니다.
뛰어난 효율성을 갖춘 고성능
효율성은 Command A+의 핵심 설계 목표였습니다. 이 모델은 총 2,180억 개의 파라미터 중 250억 개의 활성 파라미터만 사용하는 희소 MoE(Sparse MoE) 아키텍처를 채택하여, 컴퓨팅 오버헤드를 최소화하면서도 강력한 기업용 성능을 제공합니다.
코히어에 따르면, Command A+는 다음과 같은 환경에서 실행 가능합니다:
- 단일 NVIDIA Blackwell GPU
- 또는 최적화된 양자화(Quantization) 기술을 적용한 최소 두 개의 NVIDIA H100 GPU
또한, 이 모델은 코히어 모델 중 가장 빠른 속도를 자랑하며 다음을 제공합니다:
- 초당 출력 토큰 최대 63% 향상
- 지연 시간 및 첫 토큰 생성 시간(TTFT) 단축
- 투기적 디코딩(Speculative decoding)을 통한 추가 추론 가속화
- 다국어 워크로드 전반의 토크나이저 효율성 개선
이러한 최적화를 통해 기업은 인프라 비용을 절감하는 동시에 프로덕션 AI 시스템을 더욱 효율적으로 확장할 수 있습니다.
강력한 엔터프라이즈 및 멀티모달 기능
Command A+는 이전에 여러 Command 모델 변체에 분산되어 있던 기능들을 단일 모델로 통합했습니다. 이 모델은 다음과 같은 분야에서 강력한 성능을 입증합니다:
- 장기 추론(Long-horizon reasoning)
- 에이전틱 코딩
- 멀티모달 이해
- 도구 사용
- 기업용 검색 작업
- 다국어 추론 및 번역
코히어는 에이전틱 질의응답, 스프레드시트 분석, 메모리 기반 추론, 문서 이해, 다국어 추론 등의 항목을 포함한 기업 중심 벤치마크 및 내부 에이전틱 평가에서 유의미한 성능 향상을 보고했습니다.
개방성, 유연성 및 기업용 준비 완료
Command A+는 Apache 2.0 라이선스로 제공되어, 조직이 기업 워크로드에 맞춰 모델을 자유롭게 맞춤 설정하고 적응시키며 배포할 수 있는 유연성을 제공합니다.
Microsoft Foundry 매니지드 컴퓨팅을 통해 기업은 오픈 소스 AI의 유연성과 관리형 배포 인프라의 운영상 이점, 그리고 통합된 AI 플랫폼 경험을 결합할 수 있습니다.
시작하기
Command A+는 현재 Microsoft Foundry에서 매니지드 컴퓨팅 오퍼로 사용 가능합니다. 지금 바로 확인해 보세요: AI.azure.com