조건부 독립
조건부 독립(Conditional Independence)은 확률 이론 및 통계학에서 두 확률 변수(또는 사건) A와 B가 제3의 변수 C가 주어졌을 때 서로 독립임을 의미한다. 즉, C의 값이 알려져 있으면 A와 B 사이에 추가적인 통계적 연관성이 존재하지 않는다. 조건부 독립은 베이즈 네트워크, 마르코프 랜덤 필드, 귀무가설 검정 등 다양한 분야에서 핵심적인 개념으로 활용된다.
정의
확률 변수 $X, Y, Z$에 대하여 다음과 같은 관계가 성립하면 $X$와 $Y$는 $Z$에 조건부 독립이라고 한다.
$$ X \perp!!!\perp Y \mid Z \quad\Longleftrightarrow\quad P(X, Y \mid Z)=P(X \mid Z),P(Y \mid Z) $$
위 식은 $Z$가 주어졌을 때 $X$와 $Y$의 결합 조건부 확률이 각각의 조건부 확률의 곱과 같다는 뜻이다. 확률 질량 함수(PMF)·확률 밀도 함수(PDF)·조건부 기대값 등 모든 확률적 표현에 동일하게 적용된다.
수식적 정의
-
조건부 확률 형태
$$ P(X=x, Y=y \mid Z=z)=P(X=x \mid Z=z);P(Y=y \mid Z=z) $$ $\forall x,y,z$에 대해 성립한다면 $X$와 $Y$는 $Z$에 조건부 독립이다. -
조건부 기대값 형태
$$ \mathbb{E}[f(X)g(Y) \mid Z]=\mathbb{E}[f(X) \mid Z]; \mathbb{E}[g(Y) \mid Z] $$ 여기서 $f, g$는 적절히 정의된 함수이며, 위 식이 모든 $f,g$에 대해 성립할 때도 조건부 독립을 의미한다.
주요 성질
| 성질 | 설명 |
|---|---|
| 대칭성 | $X \perp!!!\perp Y \mid Z$이면 $Y \perp!!!\perp X \mid Z$ |
| 조건부 결합법칙 | $X \perp!!!\perp Y \mid Z$이면 $P(X,Y,Z)=P(Z)P(X\mid Z)P(Y\mid Z)$ |
| 마르코프 성질 | 베이즈 네트워크에서 노드 간의 비인접성은 조건부 독립으로 해석된다. |
| 분해 | $X \perp!!!\perp (Y,W) \mid Z$이면 $X \perp!!!\perp Y \mid Z$와 $X \perp!!!\perp W \mid Z$가 동시에 성립한다. |
| 축소 | $X \perp!!!\perp Y \mid (Z,W)$이면 $X \perp!!!\perp Y \mid Z$가 일반적으로 성립하지 않는다(조건을 더 강하게 할 경우는 예외). |
예시
-
동전 던지기와 주사위 굴리기
두 사건 $A$ = “동전이 앞면”과 $B$ = “주사위가 6”는 서로 독립이다.
여기서 $C$ = “동전이 앞면이면서 주사위를 굴렸다”라는 사건을 조건으로 잡으면
$$ P(A\mid C)=1,; P(B\mid C)=\frac{1}{6},; P(A,B\mid C)=\frac{1}{6}=P(A\mid C)P(B\mid C) $$ 따라서 $A$와 $B$는 $C$에 조건부 독립이다. -
베이즈 네트워크
간단한 네트워크: $X\rightarrow Z\leftarrow Y$. 여기서 $X$와 $Y$는 직접 연결되지 않지만 공통 원인 $Z$에 의해 영향받는다.
$X$와 $Y$는 $Z$가 주어지면 조건부 독립: $X\perp!!!\perp Y\mid Z$. -
마켓 데이터
주가 변동 변수 $R_1,R_2$와 전체 시장 지수 $M$에 대하여, 시장 지수가 고정된 상황에서는 두 개별 주식의 변동이 서로 독립일 수 있다:
$R_1\perp!!!\perp R_2\mid M$.
응용 분야
- 베이즈 네트워크: 구조 학습과 추론 과정에서 조건부 독립 관계를 이용해 그래프를 간소화한다.
- 마르코프 랜덤 필드: 이미지 복원, 자연어 처리 등에서 픽셀·단어 간의 지역적 조건부 독립을 가정한다.
- 통계적 검정: 조건부 독립 검정(예: 카이제곱 검정, G‑test)은 변수 간 연관성을 평가할 때 사용된다.
- 머신러닝: 나이브 베이즈 분류기에서 특성 간 조건부 독립 가정이 모델의 단순화와 효율성을 제공한다.
- 심리학·사회과학: 실험 설계 시 교란 변수(공변량)를 통제함으로써 주요 변수 간 조건부 독립을 확보한다.
관련 항목
- 독립(확률)
- 베이즈 정리
- 마르코프 속성
- 인과 그래프
- 조건부 확률
참고문헌
- Koller, D., & Friedman, N. (2009). Probabilistic Graphical Models: Principles and Techniques. MIT Press.
- Pearl, J. (1988). Probabilistic Reasoning in Intelligent Systems. Morgan Kaufmann.
- Murphy, K. P. (2012). Machine Learning: A Probabilistic Perspective. MIT Press.
- 김형진, 정진우 (2015). 조건부 독립과 베이즈 네트워크. 한국통계학회지, 44(2), 213‑229.