일반화 오차
정의
일반화 오차(Generalization Error)란 기계학습 모델이 학습에 사용되지 않은 새로운 데이터(테스트 데이터 또는 실제 환경 데이터)에 대해 보여주는 평균적인 손실을 의미한다. 이는 모델이 훈련 데이터에 과도하게 적합(overfitting)되었는지, 혹은 훈련 데이터와 유사한 분포를 가진 실제 데이터에서도 안정적으로 성능을 유지하는지를 평가하는 핵심 지표이다. 일반화 오차가 작을수록 모델의 예측이 실제 상황에 잘 맞는다고 판단한다.
수식적 정의
통계적 학습 이론에서는 일반화 오차를 다음과 같이 정의한다.
$$ \mathcal{E}{\text{gen}}(f)=\mathbb{E}{(X,Y)\sim\mathcal{D}}\big[ L\big(f(X),Y\big)\big] $$
- $f$ : 학습된 가설(모델)
- $\mathcal{D}$ : 입력‑출력 쌍 $(X,Y)$가 따르는 실제 데이터 분포
- $L(\cdot,\cdot)$ : 손실 함수(예: 제곱오차, 교차엔트로피 등)
- $\mathbb{E}$ : 기대값 연산자
실제 상황에서는 $\mathcal{D}$를 알 수 없으므로, 독립적인 검증 혹은 테스트 데이터를 사용해 $\mathcal{E}_{\text{gen}}(f)$를 추정한다.
학습 오차와의 차이
- 학습 오차(Training Error) : 학습에 사용된 데이터에 대해 계산한 평균 손실.
- 검증/테스트 오차(Validation/Test Error) : 학습에 사용되지 않은 데이터에 대해 계산한 평균 손실.
일반화 오차는 이론적으로는 전체 데이터 분포에 대한 기대값이며, 검증/테스트 오차는 그 근사치에 해당한다. 학습 오차가 작지만 검증 오차가 크게 차이 나는 경우, 모델이 과적합되었을 가능성이 높다.
일반화 오차의 측정 방법
- 홀드아웃 검증(Hold‑out Validation)
- 전체 데이터를 학습용과 테스트용으로 한 번만 분할하고 테스트 오차를 일반화 오차의 추정치로 사용한다.
- 교차 검증(Cross‑validation)
- 데이터셋을 $k$개의 폴드로 나누어 각 폴드마다 학습·검증을 반복하고, 평균 검증 오차를 일반화 오차로 추정한다.
- 부트스트랩(Bootstrap) 방법
- 복원 추출을 통해 여러 학습 샘플을 만든 뒤, 각각에 대한 검증 오차를 평균한다.
- 베이지안 방법
- 사전 분포와 사후 분포를 이용해 일반화 오차의 확률적 상한을 계산한다(예: PAC‑Bayes 경계).
일반화 오차와 과적합
- 과적합(Overfitting) : 모델이 학습 데이터의 잡음까지 학습해 일반화 오차가 크게 증가하는 현상.
- 정규화(Regularization) : L1/L2 패널티, 드롭아웃, 조기 종료(Early Stopping) 등으로 모델 복잡도를 제한해 일반화 오차를 감소시킨다.
일반화 오차는 모델 선택·튜닝 과정에서 최적의 복잡도와 하이퍼파라미터를 찾는 기준이 된다.
일반화 오차의 이론적 경계
- VC 차원(Vapnik–Chervonenkis dimension) : 모델 클래스의 복잡도를 나타내는 지표; VC 차원이 클수록 일반화 오차의 상한이 높아진다.
- Rademacher 복잡도 : 표본에 대한 함수 클래스의 변동성을 측정해 일반화 오차의 확률적 상한을 제공한다.
- PAC (Probably Approximately Correct) 이론 : 일정 확률 $\delta$ 하에 $\epsilon$ 정도의 일반화 오차를 보장하는 학습 알고리즘을 정의한다.
관련 개념
- 편향-분산 트레이드오프(Bias‑Variance Tradeoff) : 모델이 가진 편향과 분산이 일반화 오차에 미치는 영향을 설명한다.
- 학습 곡선(Learning Curve) : 훈련·검증 오차가 데이터 양에 따라 어떻게 변하는지를 시각화하여 일반화 성능을 진단한다.
- 도메인 적응(Domain Adaptation) : 훈련 데이터와 테스트 데이터의 분포가 다를 때 일반화 오차를 최소화하는 방법론.
참고문헌
- Vapnik, V. N. (1998). Statistical Learning Theory. Wiley.
- Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.
- Mohri, M., Rostamizadeh, A., & Talwalkar, A. (2018). Foundations of Machine Learning. MIT Press.
- Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning. Springer.