수치 미분(Numerical Differentiation)은 수치해석학의 한 분야로, 함수의 해석적(analytic) 미분 공식을 직접 사용하는 대신, 함수의 이산적인 값들을 이용하여 미분값을 근사적으로 추정하는 방법이다. 연속적인 함수의 극한 개념을 직접 컴퓨터로 계산할 수 없기 때문에, 컴퓨터를 이용하여 함수의 미분을 구할 때 주로 사용된다.
개념적 배경
해석적 미분은 함수의 도함수를 공식을 통해 논리적으로 전개하여 정확한 값을 구하는 방식이다. 이에 반해 수치 미분은 미분의 정의에 기반하여, 독립 변수의 변화량 h를 아주 작은 유한한 값으로 설정한 뒤 함수값의 차이를 변화량으로 나누어 미분값을 근사한다. 수학적 미분의 정의는 다음과 같이 표현된다.
f'(x) = lim_{h→0} [f(x+h) - f(x)] / h
그러나 컴퓨터에서는 h를 무한히 0에 접근시키는 것이 불가능하므로, 실제로는 적절히 작은 유한한 값 h를 사용하여 근사값을 얻는다.
주요 차분 방법
수치 미분에서 함수값의 차이를 계산하는 방식에 따라 여러 가지 기법이 구분된다.
-
전방 차분(Forward Difference): f(x+h) - f(x)를 h로 나누는 방식으로, 현재 점 x를 기준으로 앞쪽에 위치한 x+h의 함수값을 사용한다.
-
후방 차분(Backward Difference): f(x) - f(x-h)를 h로 나누는 방식으로, 현재 점 x의 뒤쪽에 위치한 x-h의 함수값을 사용한다.
-
중앙 차분(Central Difference) / 대칭 차분(Symmetric Difference): f(x+h) - f(x-h)를 2h로 나누는 방식으로, 점 x의 앞과 뒤의 함수값을 모두 사용한다. 테일러 급수 분석에 따르면, 함수가 매끄럽게 변화하는 경우 중앙 차분은 전방 또는 후방 차분에 비해 오차가 더 작아 미분값에 더 가까운 근사를 제공한다.
h 값의 선택과 오차 문제
수치 미분의 정확도는 차분 간격 h의 선택에 크게 의존한다. h를 작게 설정할수록 미분 정의에 가까워지지만, 컴퓨터의 유한한 정밀도로 인해 반올림 오차(round-off error)가 발생한다. 반대로 h를 너무 크게 설정하면 절단 오차(truncation error)가 커진다. 따라서 두 오차의 합을 최소화하는 최적의 h 값이 존재하며, 이중 정밀도(64비트 부동소수점) 계산 환경에서 기계 엡실론(machine epsilon)을 고려할 때 최적 h는 대략 2√ε ≈ 3×10⁻⁸ 수준으로 알려져 있다.
응용 분야
수치 미분은 해석적 미분이 어렵거나 불가능한 함수, 또는 실험 데이터처럼 이산적인 값으로만 주어진 함수의 변화율을 구할 때 사용된다. 대표적인 응용 분야로는 물리학 및 공학에서의 수치 해석, 인공지능 분야에서의 경사하강법(Gradient Descent)에서의 기울기 계산, 시뮬레이션 등이 있다. 특히 머신러닝과 딥러닝에서 손실 함수의 기울기(gradient)를 계산할 때 수치 미분이 종종 활용되며, 실제 구현에서는 정확도가 더 높은 중앙 차분 방식이 주로 채택된다.
정확성의 한계
수치 미분은 기본적으로 근사 기법이므로 해석적 미분과 달리 오차를 내재적으로 포함한다. 함수의 형태, 선택된 차분 방법, 그리고 h 값에 따라 오차의 크기가 달라진다. 이러한 이유로 가능한 경우에는 해석적 미분 또는 자동 미분(automatic differentiation)이 선호되기도 하지만, 함수의 해석적 표현이 복잡하거나 주어지지 않은 경우에는 수치 미분이 실질적인 대안으로 사용된다.
