정의
손실 함수(Loss Function)란, 예측값과 실제값 사이의 차이를 정량적으로 측정하여 모델의 성능을 평가하는 수학적 함수이다. 머신러닝·딥러닝을 포함한 다양한 최적화 문제에서, 모델 파라미터를 조정하여 손실을 최소화함으로써 예측 정확도를 향상시킨다.
주요 역할
- 성능 평가: 학습 과정 중 현재 모델이 얼마나 정확한지를 수치화한다.
- 기울기 계산: 대부분의 학습 알고리즘(예: 확률적 경사 하강법)은 손실 함수의 미분값(gradient)을 이용해 파라미터를 업데이트한다.
- 목표 설정: 손실 최소화를 통해 최적화 목표를 명확히 정의한다.
대표적인 종류
| 손실 함수 종류 | 적용 분야 | 수식 (예시) |
|---|---|---|
| 평균 제곱 오차 (Mean Squared Error, MSE) | 회귀 | $ \frac{1}{N}\sum_{i=1}^{N}(y_i-\hat{y}_i)^2 $ |
| 평균 절대 오차 (Mean Absolute Error, MAE) | 회귀 | $ \frac{1}{N}\sum_{i=1}^{N} |
| 교차 엔트로피 손실 (Cross‑Entropy Loss) | 분류 | $ -\frac{1}{N}\sum_{i=1}^{N}\sum_{c} y_{i,c}\log(\hat{p}_{i,c}) $ |
| 힌지 손실 (Hinge Loss) | 서포트 벡터 머신 등 이진 분류 | $ \max(0, 1 - y_i\hat{y}_i) $ |
| 폰베르투스트 손실 (Huber Loss) | 회귀 (이상치에 강인) | $\begin{cases} \frac{1}{2}(y_i-\hat{y}_i)^2 & \text{if } |
어원 및 사용 맥락
‘손실’은 한국어로 ‘loss’를 의미하고, ‘함수’는 ‘function’에 해당한다. 따라서 “손실 함수”는 영어 “loss function”을 직역·번역한 용어이다. 주로 인공지능·머신러닝 연구 논문, 교과서, 기술 블로그 등에서 사용되며, 파이썬·R·MATLAB 등 프로그래밍 환경에서도 loss, criterion 등으로 구현된다.
관련 개념
- 목적 함수(Objective Function): 손실 함수와 정규화 항을 합한 형태로, 전체 최적화 목표를 나타낸다.
- 정규화(Regularization): 과적합 방지를 위해 손실에 가중치 패널티(L2, L1 등)를 추가한다.
- 평가 지표(Metrics): 손실 함수와는 별도로 모델 성능을 독립적으로 측정하기 위한 지표(예: 정확도, F1‑score)와 함께 사용된다.
참고
손실 함수의 선택은 데이터 특성, 문제 유형, 학습 알고리즘에 따라 달라지며, 동일한 문제라도 여러 손실 함수를 실험하여 최적의 성능을 찾는 것이 일반적이다.
