기브스 부등식은 정보 이론 및 통계 물리학에서 사용되는 기본적인 불등식으로, 두 확률 분포 사이의 Kullback–Leibler(KL) 발산이 항상 음이 아니며, 두 분포가 동일할 때만 0이 된다는 사실을 나타낸다.
정의
두 확률 질량 함수(또는 확률 밀도 함수) $P = {p_i}$와 $Q = {q_i}$가 정의역 $\mathcal{X}$에서 모두 양의 값을 갖고 $\sum_i p_i = \sum_i q_i = 1$인 경우, 기브스 부등식은 다음과 같이 표현된다.
$$ D_{\mathrm{KL}}(P;||;Q) = \sum_{i \in \mathcal{X}} p_i \log \frac{p_i}{q_i} \ge 0, $$
동등식이 성립하는 경우는 $p_i = q_i$ (모든 $i$에 대해)일 때이다. 여기서 $\log$는 보통 자연 로그를 사용한다.
증명 개요
- 볼츠만(또는 로그) 함수의 볼록성: 함수 $f(x) = -\log x$는 $x > 0$ 구간에서 볼록한다.
- 제이슨(Jensen) 부등식 적용: 볼록 함수에 대한 제이슨 부등식을 사용하면
$$ -\sum_i p_i \log\frac{q_i}{p_i} \le -\log\Bigl(\sum_i p_i \frac{q_i}{p_i}\Bigr) = -\log 1 = 0. $$
이를 정리하면 $ \sum_i p_i \log\frac{p_i}{q_i} \ge 0$이 된다. - 동등식 조건: 제이슨 부등식의 등호 조건에 따라 $p_i/q_i$가 모든 $i$에 대해 동일해야 하므로, 결국 $p_i = q_i$일 때만 등식이 성립한다.
주요 응용 분야
- 정보 엔트로피: 샤논 엔트로피 $H(P) = -\sum_i p_i \log p_i$와 교차 엔트로피 $H(P,Q) = -\sum_i p_i \log q_i$ 사이의 관계를 통해, $H(P,Q) \ge H(P)$임을 보이는 데 사용된다. 이는 데이터 압축 및 통신 이론에서 핵심적인 결과이다.
- 최대 엔트로피 원리: 제약 조건 하에서 확률 분포를 선택할 때 기브스 부등식을 이용해 가장 큰 엔트로피를 갖는 분포가 최적임을 증명한다.
- 통계 물리학: 볼츠만 분포의 최적성, 자유 에너지 최소화 원리 등에서 KL 발산이 자유 에너지와 연결되어 기브스 부등식이 적용된다.
- 머신러닝: 변분 추정, 베이즈 모델 비교, 정보 기준(AIC, BIC) 등에서 모델 간 차이를 정량화할 때 KL 발산(기브스 부등식 기반)이 활용된다.
관련 개념
- KL 발산(Kullback–Leibler divergence)
- 샤논 엔트로피(Shannon entropy)
- 교차 엔트로피(Cross entropy)
- 볼츠만 분포(Boltzmann distribution)
참고 문헌
- T. M. Cover, J. A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006.
- C. E. Shannon, “A Mathematical Theory of Communication,” Bell System Technical Journal, 1948.
- E. T. Jaynes, “Information Theory and Statistical Mechanics,” Physical Review, 1957.
(본 설명은 공신력 있는 학술 자료에 기반한 객관적 정보를 제공한다.)
