수치선형대수학(Numerical Linear Algebra)은 수치해석학의 한 분야로, 컴퓨터를 이용한 수치 계산의 관점에서 선형대수학의 문제들을 연구하는 학문이다. 연속 수학(continuous mathematics)에서 제기되는 문제들에 대해 효율적이고 정확한 근사해를 제공하는 컴퓨터 알고리즘을 개발하는 것을 주요 목표로 한다.
컴퓨터는 부동소수점 연산(floating point arithmetic)을 사용하므로 실수를 유한한 정밀도로만 표현할 수 있으며, 이로 인해 계산 과정에서 반올림 오차(roundoff error)가 발생한다. 수치선형대수학은 벡터와 행렬의 수학적 성질을 활용하여 이러한 오차를 최소화하고, 알고리즘이 가능한 한 효율적으로 동작하도록 설계하는 데 중점을 둔다.
수치선형대수학에서 다루는 대표적인 문제들은 다음과 같다.
- 선형연립방정식의 해법: 가우스 소거법(Gaussian elimination), LU 분해 등을 통해 방정식 $Ax = b$의 해를 구하는 문제.
- 최소제곱 문제(Least Squares Problem): QR 분해, 특이값 분해(SVD) 등을 이용하여 과결정계 또는 불능계의 최적 근사해를 찾는 문제.
- 고유값 문제(Eigenvalue Problem): 행렬 $A$의 고유값과 고유벡터를 계산하는 문제. 멱법(power method), QR 알고리즘 등이 사용된다.
- 행렬 분해(Matrix Factorization): LU 분해, QR 분해, 특이값 분해(SVD), 촐레스키 분해(Cholesky decomposition) 등 행렬을 더 간단한 형태로 분해하는 기법들.
수치선형대수학의 핵심 개념으로는 조건수(condition number), 수치적 안정성(numerical stability), 역오차 해석(backward error analysis) 등이 있으며, 이들은 알고리즘이 유한 정밀도 컴퓨터에서 얼마나 신뢰할 수 있는 결과를 제공하는지를 평가하는 기준이 된다.
응용 분야는 매우 광범위하다. 이미지 및 신호 처리, 전기 통신, 전산 금융, 재료 과학 시뮬레이션, 구조 생물학, 데이터 마이닝, 생물정보학, 유체 역학 등 공학 및 계산 과학 전반에 걸쳐 기초적인 도구로 사용된다. 특히 유한차분법(FDM), 유한요소법(FEM) 등 미분방정식의 수치적 모델링에서 행렬 방법이 핵심적으로 활용된다.
수치선형대수학의 기원은 1947년 폰 노이만(John von Neumann)과 골드스타인(H. H. Goldstine)이 발표한 "고차 행렬의 수치적 역산(Numerical Inverting of Matrices of High Order)"이라는 논문으로 거슬러 올라간다. 이후 제임스 윌킨슨(James H. Wilkinson), 진 골럽(Gene H. Golub), 로이드 트레페센(Lloyd N. Trefethen) 등에 의해 학문 분야로서 크게 발전하였다. 대표적인 교재로는 Trefethen과 Bau의 Numerical Linear Algebra(SIAM, 1997)와 Golub과 Van Loan의 Matrix Computations(Johns Hopkins University Press)가 널리 알려져 있다.
