정의
베이즈 정리(Bayes' Theorem)는 조건부 확률에 관한 정리로, 주어진 사후 확률을 사전 확률과 가능도를 이용하여 계산하는 수학적 공식이다. 이 정리는 특정 사건이 발생했을 때, 그 사건의 원인이 특정 조건에 의해 설명될 확률을 구하는 데 사용된다.
개요
베이즈 정리는 확률 이론 및 통계학에서 중요한 역할을 하며, 특히 베이지안 추론(Bayesian inference)의 기초가 된다. 이 정리는 새로운 정보가 주어졌을 때 기존의 믿음(사전 확률)을 업데이트하여 보다 정확한 추정(사후 확률)을 가능하게 한다. 널리 응용되는 분야로는 통계학, 인공지능, 기계학습, 의학 진단, 이메일 스팸 필터링 등이 있다.
수식적으로, 두 사건 A와 B에 대해 B가 발생했다는 조건 하에 A가 발생할 조건부 확률은 다음과 같이 표현된다:
P(A|B) = [P(B|A) × P(A)] / P(B)
여기서:
- P(A|B)는 B가 주어졌을 때 A의 사후 확률,
- P(B|A)는 A가 주어졌을 때 B의 가능도,
- P(A)는 A의 사전 확률,
- P(B)는 B의 주변 확률이다.
어원/유래
베이즈 정리는 18세기 영국의 수학자 토머스 베이즈(Thomas Bayes)의 이름을 땄다. 그는 생전에 이 정리를 출판하지 않았으나, 사후 1763년 리처드 프라이스(Richard Price)가 베이즈의 유고를 정리하여 왕립 학회에 제출하면서 공개되었다. 이후 피에르시몽 라플라스가 이론을 독립적으로 유도하고 확장하여 베이지안 사고의 기반을 다졌다.
특징
- 베이즈 정리는 사전 지식(사전 확률)과 새로운 데이터(증거)를 결합하여 사후 확률을 도출함으로써 불확실성 상황에서의 추론을 가능하게 한다.
- 전통적인 빈도주의 통계와 달리, 확률을 '믿음의 정도(degree of belief)'로 해석하는 베이지안 접근법의 핵심이다.
- 데이터가 축적될수록 사후 확률이 지속적으로 업데이트되는 점에서 점진적 학습 모델에 적합하다.
- 모든 변수에 사전 분포를 설정해야 하는 단점이 있으나, 이를 통해 전문가 지식을 통계 모형에 반영할 수 있다.
관련 항목
- 조건부 확률
- 사전 확률과 사후 확률
- 베이지안 추론
- 머신러닝
- 베이지안 네트워크
- 통계적 추정
- 토머스 베이즈
- 피에르시몽 라플라스