HDP (Hortonworks Data Platform)
HDP는 미국의 소프트웨어 기업인 Hortonworks가 개발한 기업용 데이터 플랫폼이다. Apache Hadoop을 기반으로 하여, 분산 저장·처리와 데이터 분석을 위한 다양한 오픈소스 컴포넌트를 통합·관리하는 역할을 수행한다. 주요 구성 요소에는 HDFS(분산 파일 시스템), YARN(리소스 관리), Hive(데이터 웨어하우스), HBase(NoSQL 데이터베이스), Spark, Kafka 등이 포함된다.
주요 특징
- 오픈소스 기반 – Apache Hadoop 생태계의 프로젝트들을 공식적으로 패키징하고, 추가적인 관리 도구와 보안 기능을 제공한다.
- 엔터프라이즈 지원 – 고가용성, 데이터 보안, 멀티테넌시, 모니터링·관리 인터페이스 등을 기업 환경에 맞게 강화하였다.
- 클라우드 및 온프레미스 복합 배포 – 물리적 서버, 가상화 환경, 퍼블릭·프라이빗 클라우드 등 다양한 인프라에 배포 가능하도록 설계되었다.
역사 및 현황
- 2011년 Hortonworks가 첫 번째 버전인 HDP 1.0을 공개하였다.
- 이후 연간 주요 업데이트를 진행하며, HDP 2.x 시리즈가 기업 현장에서 널리 채택되었다.
- 2019년 Hortonworks와 Cloudera가 합병하면서 HDP는 Cloudera Data Platform(CDP)으로 통합되었으며, 기존 HDP 제품군은 단계적으로 지원 종료(EOL)되었다.
활용 사례
- 대규모 로그·센서 데이터 수집 및 분석
- 실시간 스트리밍 처리와 배치 처리의 혼합 워크로드
- 데이터 레이크 구축 및 BI 도구와 연계한 분석 파이프라인
참고: HDP는 현재 “Cloudera Data Platform”으로 진화했으며, 원래 명칭인 “Hortonworks Data Platform”은 공식적인 제품명으로는 더 이상 유지되지 않는다.
