부호율-변형 이론(Rate–distortion theory, RDT)은 손실 데이터 압축(lossy data compression)의 이론적 기초를 제공하는 정보 이론(information theory)의 주요 분과이다. 이 이론은 정보원(입력 신호)이 기대 변형 D를 초과하지 않으면서 수신측(출력 신호)에서 근사적으로 재구성될 수 있도록, 채널을 통해 전달되어야 하는 심볼당 최소 비트 수(부호율 R)를 결정하는 문제를 다룬다.
역사
부호율-변형 이론은 클로드 섀넌(Claude Shannon)이 1948년 정보 이론의 기초를 확립하는 과정에서 창시하였다. 섀넌은 손실 압축에서 비트율과 왜곡 사이의 근본적인 상충 관계(trade-off)를 수학적으로 정식화하였다.
핵심 개념
이 이론에서 부호율(rate, R)은 일반적으로 저장 또는 전송할 데이터 샘플당 비트 수를 의미한다. 변형(distortion, D)은 입력 신호와 재구성된 출력 신호 간의 차이를 측정하는 척도이다. 가장 단순하고 널리 사용되는 변형 측정 방식은 평균 제곱 오차(mean squared error, MSE)이다.
부호율-변형 함수 R(D)는 주어진 최대 허용 변형 D* 이하를 유지하면서 통신에 필요한 최소 부호율을 나타낸다. 이 함수는 연속적이고 단조 감소하는 볼록(convex) 함수의 성질을 가진다.
수학적 정식화
부호율-변형 함수는 다음 최소화 문제의 해로 구해진다:
infQY|X(y|x) IQ(Y; X) subject to DQ ≤ D*
여기서 QY|X(y|x)는 시험 채널(test channel)이라 불리는 조건부 확률 밀도 함수이며, IQ(Y; X)는 출력 Y와 입력 X 간의 상호 정보량(mutual information)이다.
주요 예시
-
가우시안 기억 없는 정보원과 제곱 오차 변형: 분산 σ²인 가우시안 확률 변수의 경우, R(D) = (1/2) log₂(σ²/D) (0 ≤ D ≤ σ²)의 해석적 해가 존재한다. 가우시안 정보원은 주어진 평균 제곱 오차에 대해 가장 많은 비트를 필요로 하는, 즉 부호화하기 가장 '어려운' 정보원으로 알려져 있다.
-
베르누이 기억 없는 정보원과 해밍 변형: R(D) = Hb(p) - Hb(D) (0 ≤ D ≤ min(p, 1-p))로 주어지며, Hb는 이진 엔트로피 함수이다.
알고리즘
블라후트-아리모토 알고리즘(Blahut–Arimoto algorithm)은 리처드 블라후트(Richard Blahut)가 공동 발명한 반복적 수치 기법으로, 임의의 유한 입력/출력 알파벳 정보원에 대한 부호율-변형 함수를 수치적으로 계산하는 데 사용된다.
응용
부호율-변형 이론은 손실 압축 방식으로 달성 가능한 압축률에 대한 분석적 표현을 제공한다. 기존의 많은 오디오, 음성, 이미지, 비디오 압축 기술(MP3, Vorbis, JPEG, MPEG 등)은 변환(transform), 양자화(quantization), 비트율 할당(bit-rate allocation) 과정에서 부호율-변형 함수의 일반적 형태를 활용한다. 최근에는 딥러닝 기반의 부호율-변형 함수 추정 기법(신경 추정기, neural estimator)도 개발되고 있다.
채널 용량과의 관계
정보원의 엔트로피가 H이고 채널 용량이 C(C < H)일 때, 전송 중 손실되는 정보는 H - C 비트/심볼이다. 사용자가 최대 변형 D 이하로 재구성하려면, 전송 손실이 최대 허용 손실 H - R(D)를 초과하지 않아야 하므로, 채널 용량 C는 최소한 R(D) 이상이어야 한다는 조건이 도출된다.
