이 게시물에서는 전처리를 위해 Amazon EMR Serverless를 사용하여 Unity Catalog를 Amazon SageMaker AI와 통합하는, 안전하고 완성된 LLM 미세 조정(Fine-tuning) 워크플로 구축 방법을 소개합니다.
이 솔루션은 거버넌스가 적용된 데이터에 안전하게 액세스하고, 여러 서비스 간의 데이터 계보(lineage)를 유지하며, Ministral-3-3B-Instruct 모델을 미세 조정하고, 학습된 아티팩트를 다시 Unity Catalog에 등록하는 과정을 보여줍니다. 이러한 접근 방식을 통해 보안이나 컴플라이언스 요구 사항을 타협하지 않으면서도 중앙 거버넌스를 유지하고 데이터 계보를 추적하는 동시에 기존 서비스를 그대로 활용할 수 있습니다.