잔차 제곱합

잔차 제곱합 (Residual Sum of Squares, RSS)은 통계학 및 회귀분석에서 사용되는 지표로, 관측값과 회귀 모형에 의해 예측된 값 사이의 차이, 즉 잔차의 제곱의 합을 의미한다. 이는 회귀 모형이 실제 데이터를 얼마나 잘 설명하는지를 나타내는 척도 중 하나로 사용된다.

잔차 제곱합은 다음과 같은 방식으로 계산된다. 먼저, 각 관측값에 대한 예측값을 회귀 모형으로부터 구한다. 그 다음, 각 관측값에서 해당 예측값을 뺀 값, 즉 잔차를 계산한다. 이렇게 얻어진 잔차들을 각각 제곱한 후 모두 더하면 잔차 제곱합을 구할 수 있다.

수식으로 표현하면 다음과 같다.

RSS = Σ (yi - ŷi)^2

여기서, yi는 i번째 관측값, ŷi는 i번째 관측값에 대한 예측값을 나타낸다.

잔차 제곱합이 작을수록 회귀 모형이 데이터를 더 잘 설명한다고 볼 수 있다. 즉, 예측값들이 실제 관측값에 더 가깝다는 의미이다. 그러나 잔차 제곱합만으로는 모형의 적합성을 완벽하게 판단할 수 없으며, 결정계수 (R-squared)와 같은 다른 지표들과 함께 고려되어야 한다. 결정계수는 총 변동 중 회귀 모형에 의해 설명되는 변동의 비율을 나타내며, 잔차 제곱합을 이용하여 계산될 수 있다.

잔차 제곱합은 또한 모형의 복잡도와 관련하여 과적합(overfitting) 문제를 진단하는 데에도 활용될 수 있다. 복잡한 모형은 잔차 제곱합을 작게 만들 수 있지만, 새로운 데이터에 대한 예측 성능은 오히려 떨어질 수 있기 때문이다.