마르코프 연쇄 몬테카를로(영어: Markov chain Monte Carlo, 약칭 MCMC)는 확률론 및 통계학에서 복잡한 확률 분포로부터 표본을 생성하기 위해 사용되는 계산 방법이다. 이 방법은 마르코프 연쇄의 특성을 이용해 상태 공간을 탐색하면서, 몬테카를로 적분을 수행한다.
정의
MCMC는 다음 두 가지 핵심 원리를 결합한다.
- 마르코프 연쇄: 현재 상태만을 기반으로 다음 상태가 결정되는 확률적 전이 과정이다. 전이 확률 행렬(또는 커널)은 목표 확률 분포를 불변분포(invariant distribution)로 갖도록 설계된다.
- 몬테카를로: 무작위 표본을 이용해 적분이나 기대값을 추정하는 기법이다. MCMC에서는 마르코프 연쇄가 생성한 표본들을 이용해 목표 분포에 대한 통계량을 근사한다.
주요 알고리즘
- Metropolis-Hastings 알고리즘: 제안 분포에서 후보 상태를 샘플링하고, 수용 확률을 통해 목표 분포에 대한 비율을 보정한다. 수용/거부 메커니즘을 통해 상세균형(detailed balance)을 만족한다.
- Gibbs 샘플링: 다변량 분포의 각 변수에 대해 조건부 분포를 순차적으로 샘플링한다. 조건부 분포가 쉽게 샘플링 가능한 경우 효율적으로 사용할 수 있다.
적용 분야
MCMC는 다음과 같은 분야에서 광범위하게 활용된다.
- 베이즈 통계: 사후 분포를 직접 계산하기 어려운 경우, MCMC를 통해 사후 샘플을 얻어 추정 및 검정에 활용한다.
- 물리학: 통계역학에서 입자 시스템의 평형 상태를 시뮬레이션한다(예: 이징 모델).
- 기계학습: 잠재 변수 모델(예: 잠재 디리클레 할당, 베이지안 네트워크)의 파라미터 추정에 사용한다.
- 생물정보학: 계통수 추정, 구조 예측 등 확률적 모델링이 필요한 작업에 적용한다.
성질 및 한계
- 수렴: 이론적으로 충분히 긴 시간 후에는 목표 분포에 수렴한다. 실제 적용에서는 수렴 진단(예: Gelman‑Rubin 진단, autocorrelation 분석)이 필요하다.
- 혼합성(mixing): 전이 커널의 설계에 따라 체인이 목표 분포를 탐색하는 속도가 달라진다. 저혼합성은 표본 간 의존성을 높여 효율을 저하시킨다.
- 계산 비용: 고차원 또는 복잡한 목표 분포에서는 전이 제안 및 수용 확률 계산이 비용이 많이 들 수 있다.
참고 사항
- MCMC는 확률론적 알고리즘이므로, 결과는 무작위성에 의해 변동한다. 따라서 여러 독립 실행(run)과 평균화를 통해 신뢰성을 확보한다.
- 최신 연구에서는 Hamiltonian Monte Carlo, No‑U‑Turn Sampler(NUTS) 등 효율성을 개선한 변형들이 활발히 개발되고 있다.
위 내용은 마르코프 연쇄 몬테카를로에 대한 객관적인 개요이며, 현재까지 공신력 있는 문헌에 근거한 정보이다.
