정보량

정보량은 정보 이론에서 사용되는 개념으로, 특정 정보가 갖는 가치 또는 놀라움의 정도를 나타내는 척도이다. 즉, 어떤 사건이 발생했다는 사실이 알려졌을 때, 그 사건에 대한 불확실성이 얼마나 해소되는지를 수치화한 것이다. 정보량은 주로 비트(bit) 단위로 측정되며, 이는 0 또는 1의 값을 가지는 이진 숫자 하나로 표현될 수 있는 정보의 양을 의미한다.

정보량의 정의 및 계산

정보량은 일반적으로 다음과 같은 특징을 갖는다.

• 드물게 발생하는 사건일수록 정보량이 높다: 흔히 일어나는 사건은 별로 새로운 정보를 주지 않지만, 매우 드물게 발생하는 사건은 많은 정보를 전달한다.
• 정보량은 확률과 반비례한다: 사건이 발생할 확률이 낮을수록 정보량은 높아진다.
• 독립적인 사건들의 정보량은 더해진다: 두 사건이 서로 독립적이라면, 두 사건이 동시에 발생했다는 정보량은 각 사건의 정보량의 합과 같다.

사건 E가 발생할 확률을 *P(E)*라고 할 때, 사건 E의 정보량 *I(E)*는 다음과 같이 계산될 수 있다.

I(E) = -log₂P(E)

여기서 log₂는 밑이 2인 로그 함수를 의미한다. 로그의 밑으로 2를 사용하는 이유는 정보량을 비트 단위로 표현하기 위함이다. 만약 자연로그(밑이 e인 로그)를 사용한다면 정보량의 단위는 nat(natural unit)가 된다.

정보량의 활용

정보량 개념은 다양한 분야에서 활용된다.

• 데이터 압축: 정보량이 낮은 데이터는 중복성이 높으므로 압축을 통해 저장 공간을 절약할 수 있다.
• 통신: 통신 채널의 용량을 계산하거나 효율적인 통신 방식을 설계하는 데 사용된다.
• 기계 학습: 특성 선택(feature selection) 과정에서 중요한 특성을 선택하는 기준으로 활용될 수 있다.
• 의사 결정: 불확실한 상황에서 최적의 결정을 내리기 위한 정보를 평가하는 데 사용된다.

예시

예를 들어, 공정한 동전을 던졌을 때 앞면이 나올 확률은 1/2이고, 뒷면이 나올 확률도 1/2이다. 따라서 앞면이 나왔다는 정보량은 -log₂(1/2) = 1 비트가 된다. 반면, 매우 불공정한 동전을 던졌을 때 앞면이 나올 확률이 1/1024이고 뒷면이 나올 확률이 1023/1024라고 가정하면, 앞면이 나왔다는 정보량은 -log₂(1/1024) = 10 비트가 된다. 이는 불공정한 동전에서 앞면이 나왔다는 사실이 더 놀랍고 많은 정보를 담고 있다는 것을 의미한다.