독립 (확률론)

독립은 확률론에서 사건이나 확률 변수들이 서로의 발생 확률이나 확률 분포에 영향을 미치지 않는 관계를 의미한다. 즉, 한 사건이 일어나거나 어떤 확률 변수가 특정 값을 가지는 것이 다른 사건의 발생 확률이나 다른 확률 변수의 확률 분포에 대해 아무런 정보를 제공하지 않는 상태를 말한다. 이러한 독립성은 결합 확률 등을 계산할 때 유용하게 사용되며, 통계학적 모델링 및 분석의 기본 가정 중 하나로 자주 사용된다.

사건의 독립

두 사건 A와 B가 독립이라고 하는 것은 두 사건이 동시에 일어날 확률이 각 사건이 일어날 확률의 곱과 같을 때를 말한다. 수학적으로는 다음과 같이 표현된다.

: $P(A\; \backslash cap\; B)\; =\; P(A)P(B)$

여기서 $P(A\; \backslash cap\; B)$는 사건 A와 B가 모두 일어날 확률(결합 확률), $P(A)$는 사건 A가 일어날 확률, $P(B)$는 사건 B가 일어날 확률이다.

만약 $P(B)\; >\; 0$ 이면 위 독립 조건은 조건부 확률로 다음과 같이 표현될 수 있다.

: $P(A|B)\; =\; \backslash frac\{P(A\; \backslash cap\; B)\}\{P(B)\}\; =\; \backslash frac\{P(A)P(B)\}\{P(B)\}\; =\; P(A)$

이는 사건 B가 일어났다는 정보가 사건 A의 발생 확률에 영향을 주지 않음을 의미한다. 마찬가지로 $P(A)\; >\; 0$ 이면 $P(B|A)\; =\; P(B)$가 성립한다.

셋 이상의 사건 $A\_1,\; A\_2,\; \backslash dots,\; A\_n$ 에 대해서는 상호 독립(mutually independent)과 쌍별 독립(pairwise independent)을 구분한다.

• 상호 독립: 임의의 부분집합 $I\; \backslash subseteq\; \{1,\; 2,\; \backslash dots,\; n\}$ (단, $I$는 공집합이 아님)에 대해 다음을 만족할 때를 말한다. : $P\backslash left(\backslash bigcap\_\{i\; \backslash in\; I\}\; A\_i\backslash right)\; =\; \backslash prod\_\{i\; \backslash in\; I\}\; P(A\_i)$ 이는 임의의 두 사건이 독립일 뿐만 아니라, 임의의 세 사건, 네 사건, ... , 모든 n개의 사건의 결합 확률이 각각의 확률의 곱과 같아야 함을 의미한다.
• 쌍별 독립: 모든 쌍 $(A\_i,\; A\_j)$ ($i\; \backslash neq\; j$)에 대해 $P(A\_i\; \backslash cap\; A\_j)\; =\; P(A\_i)P(A\_j)$ 를 만족하는 경우를 말한다.

상호 독립은 쌍별 독립을 함의하지만, 그 역은 일반적으로 성립하지 않는다. 즉, 사건들이 쌍별 독립이라고 해서 반드시 상호 독립인 것은 아니다.

확률 변수의 독립

두 확률 변수 X와 Y가 독립이라고 하는 것은 임의의 두 실수 $x,\; y$에 대해 결합 누적 분포 함수(CDF)가 각 주변 누적 분포 함수(marginal CDF)의 곱과 같을 때를 말한다.

: $F\_\{X,Y\}(x,\; y)\; =\; P(X\; \backslash le\; x,\; Y\; \backslash le\; y)\; =\; P(X\; \backslash le\; x)P(Y\; \backslash le\; y)\; =\; F\_X(x)F\_Y(y)$

• 이산 확률 변수: 두 이산 확률 변수 X와 Y가 독립이면, 임의의 가능한 값 $x,\; y$에 대해 결합 확률 질량 함수(PMF)가 주변 확률 질량 함수의 곱과 같다. : $P(X=x,\; Y=y)\; =\; P(X=x)P(Y=y)$ for all possible $x,\; y$
• 연속 확률 변수: 두 연속 확률 변수 X와 Y가 독립이면, 임의의 실수 $x,\; y$에 대해 결합 확률 밀도 함수(PDF)가 주변 확률 밀도 함수의 곱과 같다. : $f\_\{X,Y\}(x,\; y)\; =\; f\_X(x)f\_Y(y)$ for all $x,\; y$ (여기서 함수 값이 정의되는 영역에서)

N개의 확률 변수 $X\_1,\; X\_2,\; \backslash dots,\; X\_n$ 에 대한 상호 독립은 유사하게 정의된다. 임의의 $x\_1,\; \backslash dots,\; x\_n$에 대해 다음을 만족할 때 상호 독립이다.

: $F\_\{X\_1,\; \backslash dots,\; X\_n\}(x\_1,\; \backslash dots,\; x\_n)\; =\; P(X\_1\; \backslash le\; x\_1,\; \backslash dots,\; X\_n\; \backslash le\; x\_n)\; =\; \backslash prod\_\{i=1\}^n\; P(X\_i\; \backslash le\; x\_i)\; =\; \backslash prod\_\{i=1\}^n\; F\_\{X\_i\}(x\_i)$

성질

두 확률 변수 X와 Y가 독립일 때 다음과 같은 중요한 성질들이 성립한다.

• X의 함수 $g(X)$와 Y의 함수 $h(Y)$도 독립이다.
• 기댓값에 대해 $E[XY]\; =\; E[X]E[Y]$가 성립한다.
• 공분산(covariance) $Cov(X,\; Y)\; =\; E[XY]\; -\; E[X]E[Y]\; =\; 0$이다. 하지만 공분산이 0이라고 해서 반드시 독립인 것은 아니다 (즉, 독립이면 공분산은 0이지만, 공분산이 0이라고 독립은 아니다).
• 분산에 대해 $Var(X+Y)\; =\; Var(X)\; +\; Var(Y)$가 성립한다. (단, X, Y의 분산이 유한할 때)

관련 개념

• 조건부 독립(Conditional Independence): 어떤 사건 C가 주어졌을 때, 두 사건 A와 B가 독립인 경우를 말한다. 즉, $P(A\; \backslash cap\; B\; |\; C)\; =\; P(A\; |\; C)\; P(B\; |\; C)$일 때 A와 B는 C에 대해 조건부 독립이라고 한다. 확률 변수에서도 유사하게 정의된다.
• 독립 항등 분포(Independent and identically distributed, i.i.d.): 여러 개의 확률 변수가 서로 독립이면서 동시에 모두 같은 확률 분포를 따르는 경우를 말한다. 통계학에서 표본을 모델링할 때 자주 가정되는 매우 중요한 개념이다.