정의
릿지 회귀(영어: Ridge Regression)는 다중공선성(Multicollinearity)이 존재하는 선형 회귀 모델에서 회귀 계수의 추정을 개선하기 위해 제약 조건을 추가하는 정규화(regularization) 기법 중 하나이다. 수학적으로는 최소제곱법에 L2 노름 페널티를 부과함으로써 계수의 크기를 축소하며, 이를 통해 과적합(overfitting)을 방지하고 모델의 일반화 성능을 향상시킨다.
개요
릿지 회귀는 1970년 아서 후어(Arthur E. Hoerl)와 로버트 켄트 벨딩(Robert W. Kennard)에 의해 처음 제안되었다. 선형 회귀 분석에서 독립 변수들 사이에 높은 상관관계가 존재할 경우 다중공선성 문제가 발생하여 회귀 계수의 추정값이 불안정해지고 표준 오차가 과대 추정되는 문제가 생긴다. 릿지 회귀는 이러한 문제를 해결하기 위해 회귀 계수의 제곱합에 페널티 항을 추가함으로써 계수의 크기를 제한한다.
목적 함수는 다음과 같이 표현된다:
$$ \text{minimize} \left( \sum_{i=1}^{n} (y_i - \beta_0 - \sum_{j=1}^{p} \beta_j x_{ij})^2 + \lambda \sum_{j=1}^{p} \beta_j^2 \right) $$
여기서 $ \lambda $는 조정 매개변수(hyperparameter)로, 페널티의 강도를 결정한다. $ \lambda $가 0일 경우 일반 최소제곱법과 동일하게 작동하며, $ \lambda $가 무한대에 가까워질수록 모든 계수는 0에 수렴한다.
어원/유래
"릿지(Ridge)"라는 용어는 행렬의 조건수(Condition Number)를 개선하기 위해 설계된 수학적 기법에서 유래되었다. 원래는 통계학에서 다중공선성 문제를 완화하기 위한 행렬 수정 방법을 설명하기 위해 사용되었으며, 공분산 행렬에 작은 양수 값을 대각 원소에 더함으로써 안정성을 확보하는 과정이 "산의 능선(ridge)"과 같은 형태의 함수를 만든다는 데서 비롯된 것으로 추정된다.
특징
- L2 정규화(L2 regularization)를 사용하여 회귀 계수를 축소(shrinkage)하지만, 0으로 수렴시킬지는 않음.
- 다중공선성 문제에 강건하며, 변수 선택 기능은 없음.
- 조정 매개변수 $ \lambda $는 일반적으로 교차검증(Cross-validation)을 통해 결정됨.
- 계수 추정값은 편의(bias)를 가질 수 있으나, 분산의 감소를 통해 예측 오차를 줄일 수 있음.
- 고차원 데이터(변수의 수가 샘플 수보다 많은 경우)에도 적용 가능.
관련 항목
- 선형 회귀(Linear Regression)
- 라소 회귀(Lasso Regression)
- 엘라스틱넷(Elastic Net)
- 정규화(Regularization)
- 다중공선성(Multicollinearity)
- 과적합(Overfitting)
- 최소제곱법(Ordinary Least Squares)