다변수함수 극값(多變數函數 極값, 영어: extrema of multivariable functions)은 둘 이상의 변수를 가지는 함수, 즉 다변수함수가 가질 수 있는 최댓값 또는 최솟값을 총칭하는 용어이다. 다변수함수의 극값을 찾는 것은 수학, 공학, 경제학 등 다양한 분야의 최적화 문제 해결에 핵심적인 과정이다. 이는 특정 국소적인 범위에서 가장 크거나 작은 값인 '국소 극값(local extrema)'과, 함수 전체의 정의역에서 가장 크거나 작은 값인 '전역 극값(global extrema)'으로 나눌 수 있다.
목차
- 정의
- 극값의 존재 조건
- 임계점
- 이계 도함수 판정법
- 라그랑주 승수법
- 응용
- 참고 문서
1. 정의
함수 $f(x_1, x_2, \dots, x_n)$가 어떤 점 $\mathbf{a} = (a_1, a_2, \dots, a_n)$에서 국소 최댓값(local maximum)을 가진다는 것은, $\mathbf{a}$를 포함하는 어떤 열린 집합(open set) $D$ 내의 모든 점 $\mathbf{x}$에 대해 $f(\mathbf{x}) \le f(\mathbf{a})$가 성립한다는 뜻이다. 반대로, $f(\mathbf{x}) \ge f(\mathbf{a})$가 성립하면 국소 최솟값(local minimum)을 가진다고 한다. 국소 최댓값과 국소 최솟값을 통틀어 국소 극값(local extremum)이라 한다.
전역 최댓값(global maximum)은 함수의 전체 정의역에서 모든 점 $\mathbf{x}$에 대해 $f(\mathbf{x}) \le f(\mathbf{a})$가 성립할 때를 의미하며, 전역 최솟값(global minimum)은 $f(\mathbf{x}) \ge f(\mathbf{a})$가 성립할 때를 의미한다. 전역 최댓값과 전역 최솟값을 통틀어 전역 극값(global extremum)이라 한다.
2. 극값의 존재 조건
2.1. 임계점
단변수함수에서 미분값이 0이 되는 점이 극값의 후보가 되듯이, 다변수함수에서는 그래디언트 벡터가 영벡터가 되는 점이 극값의 후보가 된다. 이러한 점을 임계점(critical point)이라고 한다.
즉, 함수 $f$의 모든 편도함수가 0이 되는 점 $\mathbf{a}$에서 $f_{x_i}(\mathbf{a}) = \frac{\partial f}{\partial x_i}(\mathbf{a}) = 0$ 이 모든 $i=1, \dots, n$에 대해 성립한다.
임계점은 국소 극값이 될 수도 있고, 극값이 아닌 안장점(saddle point)이 될 수도 있다. 안장점은 특정 방향으로는 최댓값처럼 보이고 다른 방향으로는 최솟값처럼 보이는 점을 말한다.
2.2. 이계 도함수 판정법
임계점이 국소 극값인지 안장점인지를 판별하기 위해 이계 도함수 판정법(second derivative test)을 사용한다. 이를 위해 헤세 행렬(Hessian matrix) $H_f(\mathbf{a})$를 계산한다. 헤세 행렬은 함수 $f$의 모든 이계 편도함수로 구성된 정사각 행렬이다.
$$ H_f(\mathbf{x}) = \begin{pmatrix} \frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1 \partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_1 \partial x_n} \ \frac{\partial^2 f}{\partial x_2 \partial x_1} & \frac{\partial^2 f}{\partial x_2^2} & \cdots & \frac{\partial^2 f}{\partial x_2 \partial x_n} \ \vdots & \vdots & \ddots & \vdots \ \frac{\partial^2 f}{\partial x_n \partial x_1} & \frac{\partial^2 f}{\partial x_n \partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_n^2} \end{pmatrix} $$
특히 $n=2$인 경우, 헤세 행렬 $H_f(a, b) = \begin{pmatrix} f_{xx} & f_{xy} \ f_{yx} & f_{yy} \end{pmatrix}$ 이고, 판별식 $D = \det(H_f(a,b)) = f_{xx}f_{yy} - f_{xy}^2$를 사용하여 다음과 같이 판정한다 (단, 모든 이계 편도함수는 연속이라고 가정한다):
- $D > 0$ 이고 $f_{xx}(a,b) > 0$ 이면, $f(a,b)$는 국소 최솟값이다.
- $D > 0$ 이고 $f_{xx}(a,b) < 0$ 이면, $f(a,b)$는 국소 최댓값이다.
- $D < 0$ 이면, $f(a,b)$는 안장점이다.
- $D = 0$ 이면, 판정할 수 없으며 추가적인 분석이 필요하다.
일반적인 $n$변수 함수에서는 헤세 행렬의 고유값(eigenvalues) 또는 주 대각선상의 소행렬식(principal minors)을 분석하여 극값을 판정한다.
3. 라그랑주 승수법
함수가 특정 제약 조건(constraint)을 만족해야 하는 경우, 라그랑주 승수법(Lagrange multipliers)을 사용하여 극값을 찾을 수 있다. 예를 들어, 함수 $f(\mathbf{x})$의 극값을 조건 $g(\mathbf{x}) = k$ 하에서 찾고자 할 때, 새로운 함수인 라그랑주 함수 $L(\mathbf{x}, \lambda) = f(\mathbf{x}) - \lambda(g(\mathbf{x}) - k)$를 정의한다. 여기서 $\lambda$는 라그랑주 승수(Lagrange multiplier)이다.
이 라그랑주 함수의 모든 변수($x_1, \dots, x_n, \lambda$)에 대한 편도함수를 0으로 두어 연립 방정식을 풀면 제약 조건 하의 임계점을 구할 수 있다.
$$ abla L(\mathbf{x}, \lambda) = \mathbf{0} \implies \begin{cases} abla f(\mathbf{x}) = \lambda abla g(\mathbf{x}) \ g(\mathbf{x}) = k \end{cases} $$
4. 응용
다변수함수의 극값 개념은 다양한 실제 문제에서 최적의 해를 찾는 데 활용된다. 예를 들어, 최소 비용으로 최대 생산량을 얻는 문제(경제학), 특정 조건 하에서 표면적을 최소화하거나 부피를 최대화하는 설계 문제(공학), 물리 시스템의 평형점 찾기(물리학) 등에서 중요한 도구로 사용된다. 인공지능 분야에서는 기계 학습 모델의 손실 함수(loss function)를 최소화하여 최적의 모델 파라미터를 찾는 데에도 응용된다.
5. 참고 문서
- 그래디언트 (Gradient)
- 헤세 행렬 (Hessian matrix)
- 임계점 (Critical point)
- 안장점 (Saddle point)
- 최적화 (Optimization)
- 라그랑주 승수법 (Lagrange multiplier)