Amazon SageMaker Unified Studio Notebook이 Apache Spark Connect를 통한 Amazon EMR Serverless 지원을 시작합니다. 이를 통해 데이터 엔지니어와 분석가는 대화형 분석 및 데이터 엔지니어링 워크로드를 위한 Spark 런타임을 선택할 때 더 큰 유연성을 확보하게 되었습니다. 이제 사용자는 Amazon Athena Spark 외에도 Amazon EMR Serverless를 Spark 런타임으로 활용하여, 요구 사항에 맞는 최적의 엔진을 선택할 수 있습니다.
이번 출시를 통해 Notebook 셀에서 EMR Serverless Spark 애플리케이션 상의 PySpark 및 Spark SQL을 실행할 수 있습니다. 사용자는 Notebook 사이드 패널에서 Spark 런타임을 선택할 수 있으며, 선택한 런타임은 Python 및 SQL 셀 모두에 적용됩니다. 또한, 내장된 AI 어시스턴트인 SageMaker Data Agent를 활용하여 자연어 프롬프트로부터 코드와 실행 계획을 생성할 수 있어, EMR Serverless를 통한 Spark 개발 워크플로우를 가속화할 수 있습니다. 기업은 사전 초기화된 용량(pre-initialized capacity)을 활용해 세션 시작 시간을 단축할 수 있으며, 지원되는 모든 엔진에 걸쳐 통합된 Spark UI 모니터링을 통해 작업 실행 및 성능에 대한 일관된 가시성을 확보할 수 있습니다. 아울러, EMR Serverless는 네트워크 격리가 필요한 워크로드를 위해 VPC 연결 지원을 제공합니다.
이 기능은 Amazon SageMaker Unified Studio를 사용할 수 있는 모든 AWS 리전에서 제공되며, SageMaker Unified Studio Notebook과 JupyterLab IDE 환경을 모두 지원합니다. 자세한 시작 방법은 Amazon SageMaker Unified Studio 사용 설명서를 참조하세요.