Ceph는 오픈 소스 기반의 분산 스토리지 시스템으로, 대규모 데이터를 확장 가능하고 신뢰성 있게 저장·관리하기 위해 설계되었습니다. 객체 스토리지, 블록 스토리지, 파일 시스템( CephFS )을 모두 지원하며, 일반적인 하드웨어와 결합하여 클라우드 환경, 데이터 센터, 고성능 컴퓨팅(HPC) 등 다양한 분야에서 활용됩니다.
개요
- 주요 목표: 확장성(스케일 아웃), 높은 가용성, 자가 복구(self‑healing) 기능 제공.
- 구성 요소:
- Ceph OSD(객체 스토리지 데몬): 데이터와 메타데이터를 저장하고 복제·복구를 담당.
- Ceph MON(모니터링 데몬): 클러스터 상태와 맵 정보를 관리, 전체 클러스터의 일관성을 유지.
- Ceph MDS(메타데이터 서버): CephFS 파일 시스템에서 파일 메타데이터를 관리.
- Ceph RGW(RADOS 게이트웨이): Amazon S3, OpenStack Swift와 호환되는 객체 스토리지 인터페이스 제공.
아키텍처
- RADOS(레디스 오브젝트 스토리지 디바이스): Ceph의 핵심 데이터 저장 계층으로, 객체를 풀(pool) 형태로 분산 저장하고 CRUSH(Controlled Replication Under Scalable Hashing) 알고리즘을 통해 데이터Placement와 복제/다중 복구를 자동화합니다.
- CRUSH 알고리즘: 중앙 집중식 메타데이터 서버 없이도 데이터와 복제본을 효율적으로 배치하여 병목 현상을 최소화합니다.
- 클라이언트 인터페이스: librados, librbd, librgw 등 다양한 라이브러리를 통해 애플리케이션이 직접 RADOS에 접근하거나 블록/파일/객체 인터페이스를 사용하도록 지원합니다.
주요 특징
- 확장성: 노드 추가 시 자동으로 데이터와 메타데이터가 재배치되어 성능 저하 없이 규모를 확대할 수 있음.
- 내구성: 복제(replication)와 EC(erasure coding) 옵션을 통해 데이터 손실 위험을 최소화.
- 자체 복구: OSD 장애 발생 시 자동으로 복제본을 재생성하고, 데이터 무결성을 검증함.
- 오픈 소스: Apache License 2.0 하에 배포되며, 활발한 커뮤니티와 기업(Red Hat, SUSE 등)의 지원을 받음.
활용 사례
- 클라우드 스토리지: OpenStack Swift, Amazon S3 호환 게이트웨이 제공.
- 빅데이터 및 분석: Hadoop, Spark와 연동하여 대용량 데이터 저장소 역할 수행.
- 고성능 컴퓨팅(HPC): 병렬 파일 시스템(CephFS)으로 과학·공학 시뮬레이션에 활용.
- 백업·아카이브: 장기 보관용 스토리지로 EC를 이용한 비용 효율적인 저장 가능.
역사
- 2004년: Sage Weil이 박사 논문을 기반으로 초기 프로토타입 개발.
- 2006년: 초기 오픈 소스 프로젝트가 시작되어 “Ceph”라는 이름을 채택(그리스어 “kephale”(머리)에서 유래, “중심”·“핵심”을 의미한다는 추정이 있음).
- 2012년: 버전 0.56이 출시되어 첫 번째 안정적인 릴리스 제공.
- 2014년 이후: Red Hat이 Ceph 프로젝트를 인수·지원하면서 상업용 제품(Red Hat Ceph Storage)으로 확대.
현재 상황
Ceph는 최신 버전(예: 18.x “Octopus”, 19.x “Pacific” 등)에서 기능 향상과 성능 최적화를 지속하고 있으며, 클라우드 네이티브 환경을 위해 CSI(Container Storage Interface) 플러그인, Rook와 같은 오퍼레이터 기반 배포 도구와의 통합이 활발히 진행되고 있습니다. 다양한 기업 및 연구기관이 대규모 스토리지 요구를 충족시키기 위해 Ceph를 채택하고 있습니다.
