비허리의 부등식

비허리의 부등식은 확률론 및 통계학에서 확률 변수가 평균에서 얼마나 벗어날 수 있는지에 대한 상한을 제공하는 부등식들의 총칭이다. 일반적으로 마르코프 부등식과 쳬비셰프 부등식이 대표적이며, 더 강력한 형태로는 찰리호프 부등식 등이 있다. 이러한 부등식들은 확률 분포에 대한 정확한 정보를 알지 못하더라도 확률 변수의 행동을 대략적으로 파악하는 데 유용하게 사용된다.

비허리의 부등식이라는 용어는 이 부등식들이 분포에 대한 강한 가정을 필요로 하지 않기 때문에, 즉 분포의 "꼬리" 부분에 대한 정보를 적게 필요로 하기 때문에 붙여진 이름이다. 반대로, 정규 분포와 같이 꼬리가 얇은 분포에 특화된 더 강력한 부등식들도 존재한다.

주요 비허리의 부등식은 다음과 같다.

• 마르코프 부등식: 음이 아닌 확률 변수 X에 대해, 임의의 양수 a에 대해 P(X ≥ a) ≤ E[X]/a 가 성립한다. 즉, 확률 변수가 특정 값 이상이 될 확률은 그 확률 변수의 기댓값을 그 값으로 나눈 값보다 작거나 같다.

• 쳬비셰프 부등식: 임의의 확률 변수 X에 대해, 임의의 양수 k에 대해 P(|X - E[X]| ≥ kσ) ≤ 1/k^2 가 성립한다. 여기서 σ는 X의 표준편차이다. 즉, 확률 변수가 평균에서 k 표준편차 이상 벗어날 확률은 1/k^2 보다 작거나 같다. 이는 마르코프 부등식을 이용하여 유도할 수 있다.

• 찰리호프 부등식: 독립 확률 변수들의 합에 대한 꼬리 확률을 제한하는 데 사용되는 강력한 부등식이다. 다양한 형태로 존재하며, 특정 조건을 만족하는 독립 확률 변수들의 합이 평균에서 얼마나 벗어날 수 있는지에 대한 더 정확한 상한을 제공한다.

이러한 비허리의 부등식들은 통계적 추론, 기계 학습, 정보 이론 등 다양한 분야에서 활용되며, 특히 샘플 크기를 결정하거나 알고리즘의 성능을 분석하는 데 중요한 역할을 한다.