인피니밴드(InfiniBand, 약칭 IB)는 고성능 컴퓨팅(HPC)과 기업용 데이터 센터 환경에서 서버, 스토리지, 통신 장비를 서로 연결하기 위해 사용되는 채널 기반의 스위치 방식 통신 연결 기술이다. 높은 대역폭(스루풋)과 낮은 지연시간(레이턴시), 높은 안정성과 확장성을 주요 특징으로 한다.
배경 및 표준화
인피니밴드는 인피니밴드 무역 협회(IBTA, InfiniBand Trade Association)의 감독 아래 개발된 산업 표준 기술이다. 초기에는 일반 네트워크 분야까지 아우르는 광범위한 연결 기술로 기획되었으나, 개발 과정을 거치면서 범용 네트워크보다는 고성능 컴퓨팅과 특수 목적의 데이터 센터 내 상호연결(인터커넥트)에 특화된 방향으로 정착하였다.
구성 및 작동 원리
인피니밴드 네트워크의 기본 구성 요소는 호스트 채널 어댑터(HCA, Host Channel Adapter)와 인피니밴드 스위치 패브릭이다. 각 서버에는 HCA가 장착되며, 이 어댑터가 스위치를 통해 다른 노드와 연결된다. 패브릭 내부의 경로와 주소는 서브넷 매니저(Subnet Manager)가 관리한다.
인피니밴드의 핵심 기술 중 하나는 RDMA(Remote Direct Memory Access)이다. RDMA는 한 서버의 메모리에서 다른 서버의 메모리로 데이터를 효율적으로 전송할 수 있게 하는 기술로, 데이터 이동 경로에서 CPU와 운영체제 커널의 개입을 최소화함으로써 저지연·고대역폭 전송을 구현한다.
전송 속도 세대
인피니밴드의 전송 속도는 일반적으로 4개 레인(lane)을 묶은 4X 포트 기준으로 표기하며, 세대별 대표 속도는 다음과 같다.
- SDR(Single Data Rate): 10Gb/s
- DDR(Double Data Rate): 20Gb/s
- QDR(Quad Data Rate): 40Gb/s
- FDR(Fourteen Data Rate): 56Gb/s
- EDR(Enhanced Data Rate): 100Gb/s
- HDR(High Data Rate): 200Gb/s
- NDR(Next Data Rate): 400Gb/s
- XDR: 800Gb/s
다만 실제 애플리케이션에서 체감하는 유효 처리량은 인코딩 방식, 장비 구성, 메시지 크기, 혼잡 상태 등에 따라 명시된 링크 속도보다 낮을 수 있다.
주요 활용 분야
인피니밴드는 다음과 같은 환경에서 주로 사용된다.
- 대규모 GPU 클러스터 및 AI·딥러닝 학습 환경: 분산 학습 과정에서 GPU 간 교환되는 데이터의 전송 성능이 전체 학습 시간에 직접 영향을 미치므로, 저지연 고대역폭 네트워크가 요구된다. NVIDIA는 2019년 멜라녹스(Mellanox) 인수를 발표하고 2020년에 완료하면서 GPU와 인피니밴드 네트워킹을 결합한 AI 데이터 센터 플랫폼을 확대하고 있다.
- HPC 및 MPI 기반 과학 계산 워크로드: 기상 예측, 유체 해석, 신약 개발 등 여러 노드가 빈번하게 메시지를 교환하는 작업에서 사용된다.
- 고성능 스토리지 및 데이터베이스: 병렬 파일 시스템이나 대규모 데이터베이스처럼 서버와 스토리지 사이의 대량 I/O가 발생하는 환경에서 활용된다.
이더넷과의 비교
인피니밴드는 일반 이더넷(Ethernet)과 근본적으로 다른 목적을 가진다. 범용 이더넷이 사무실과 인터넷, 서버 네트워크 전반을 폭넓게 연결하는 것에 비해, 인피니밴드는 AI·HPC 클러스터의 전용 고속 연결에 특화되어 있다. 다만 이더넷 기반에서도 RoCE(RDMA over Converged Ethernet)를 사용하면 RDMA를 구현할 수 있으므로, 기술 선택 시 워크로드의 통신 패턴, 네트워크 규모, 운영 경험, 예산 등을 종합적으로 고려해야 한다.
한계 및 고려 사항
인피니밴드 도입 시 고려해야 할 점은 다음과 같다.
- HCA, 고속 스위치, 광모듈과 케이블까지 포함한 초기 구축 비용이 상대적으로 높다.
- 서브넷 매니저 운용, 포트 상태, 혼잡 지표 모니터링 등 전용 운영 도구와 역량이 필요하다.
- 스위치·HCA·케이블 간 세대 및 분기 방식 호환성을 검증해야 한다.
- 통신량이 적거나 노드 수가 적은 환경에서는 고성능 이더넷이 더 단순하고 경제적일 수 있다.
많은 수의 TOP500 슈퍼컴퓨터가 인피니밴드를 상호연결 방식으로 사용하는 것으로 알려져 있으며, 오라클 엑사데이터 데이터베이스 머신 등 엔터프라이즈 데이터 센터에서도 활용되고 있다.
