베이즈 정리(Bayes' theorem)는 조건부 확률을 이용하여 새로운 증거가 주어졌을 때 사건의 확률을 갱신하는 수학적 정리이다. 영국의 장로교 목사이자 아마추어 수학자였던 토머스 베이즈(Thomas Bayes, 1701년~1761년)의 이름에서 유래하였으며, 그의 사후인 1763년 친구 리처드 프라이스(Richard Price)에 의해 "An Essay Towards Solving a Problem in the Doctrine of Chances"라는 논문으로 출판되었다. 이후 프랑스 수학자 피에르시몽 라플라스(Pierre-Simon Laplace)가 1774년에 독자적으로 동일한 정리를 재발견하고 확장하였다.
수학적 표현
베이즈 정리는 다음과 같은 수식으로 표현된다.
$$ P(A|B) = \frac{P(B|A) , P(A)}{P(B)} $$
여기서 각 항의 의미는 다음과 같다.
- $P(A|B)$: 사후 확률(Posterior Probability). 사건 B가 관측되었을 때 사건 A가 발생할 조건부 확률이다.
- $P(B|A)$: 우도(Likelihood). 사건 A가 참일 때 사건 B가 관측될 확률이다.
- $P(A)$: 사전 확률(Prior Probability). 증거 B를 관측하기 전에 사건 A에 대해 가지고 있는 초기 확률이다.
- $P(B)$: 증거(Evidence) 또는 주변 확률(Marginal Probability). 사건 B가 관측될 전체 확률로, 전확률의 법칙(Law of Total Probability)을 통해 계산된다.
유도 과정
조건부 확률의 정의에 따르면, 두 사건 A와 B의 결합 확률은 다음과 같이 표현된다.
$$ P(A \cap B) = P(A|B)P(B) = P(B|A)P(A) $$
위 등식에서 $P(A|B)P(B) = P(B|A)P(A)$이므로, 양변을 $P(B)$로 나누면 베이즈 정리가 유도된다.
구성 요소의 해석
베이즈 정리는 사전 확률과 우도를 결합하여 사후 확률을 계산하는 프레임워크를 제공한다. 사전 확률은 관측 이전의 기존 지식 또는 믿음을 반영하며, 우도는 관측된 데이터가 특정 가설 아래에서 얼마나 그럴듯한지를 나타낸다. 사후 확률은 증거를 반영한 이후의 갱신된 확률이다. 증거($P(B)$)는 모든 가능한 가설을 고려하여 해당 증거가 나타날 전체 확률을 의미하며, 사후 확률이 올바르게 정규화되도록 하는 역할을 한다.
응용 분야
베이즈 정리는 불확실성을 체계적으로 다루는 도구로서 다양한 분야에서 활용된다.
- 의학 진단: 검사 결과(양성/음성)가 주어졌을 때 실제 질병에 걸렸을 확률을 계산하는 데 사용된다. 검사의 민감도와 특이도, 그리고 질병의 유병률(사전 확률)을 결합하여 사후 확률을 도출한다.
- 기계 학습 및 인공지능: 베이지안 네트워크, 나이브 베이즈 분류기, 베이지안 추론 등의 알고리즘에서 핵심 원리로 사용된다. 스팸 메일 필터링, 문서 분류, 추천 시스템 등에 적용된다.
- 통계학: 베이지안 통계(Bayesian statistics)의 이론적 기초를 이루며, 모수 추정 및 가설 검정에서 사전 분포와 우도 함수를 결합하여 사후 분포를 도출하는 데 사용된다.
- 암호 해독: 제2차 세계 대전 당시 앨런 튜링(Alan Turing)이 베이즈 정리를 활용하여 독일의 에니그마(Enigma) 암호 해독에 기여한 것으로 알려져 있다.
- 법정 증거 평가: DNA 일치 확률 등 법정 증거의 해석에 사전 확률의 영향을 고려하는 데 사용된다.
- 진화 생물학: 종 간의 계통수를 추론하는 베이지안 계통 발생학(Bayesian phylogenetics)에 활용된다.
역사적 의의
베이즈 정리는 18세기에 제안되었으나, 20세기 후반 컴퓨터 연산 능력의 발전과 마르코프 연쇄 몬테카를로(MCMC) 방법의 개발로 인해 실용적 계산이 가능해지면서 그 중요성이 크게 부각되었다. 해럴드 제프리스(Harold Jeffreys)는 베이즈 정리를 "확률 이론에 있어 피타고라스 정리와 같은 것"이라고 평가한 바 있다.
