편의 추정량

편의 추정량 (Biased Estimator)은 통계학에서 표본으로부터 모수를 추정하는 추정량의 한 종류로, 추정량의 기댓값이 추정하려는 모수와 일치하지 않는 추정량을 말한다. 즉, 추정량의 편의(Bias)가 0이 아닌 경우를 의미한다.

편의는 추정량의 기댓값과 실제 모수 값의 차이로 정의되며, 다음과 같은 식으로 표현된다.

Bias(θ̂) = E(θ̂) - θ

여기서 θ는 추정하고자 하는 모수를 나타내고, θ̂는 해당 모수에 대한 추정량을 나타낸다. E(θ̂)는 추정량 θ̂의 기댓값을 의미한다. 편의가 양수이면 추정량이 모수를 과대 추정하는 경향이 있으며, 음수이면 과소 추정하는 경향이 있다.

편의 추정량은 불편 추정량(Unbiased Estimator)과 대비되는 개념이다. 불편 추정량은 추정량의 기댓값이 모수와 일치하는 추정량으로, 편의가 0인 경우이다.

편의 추정량이 발생하는 원인은 다양하다. 예를 들어, 표본 선택 과정에서 선택 편향(Selection Bias)이 발생하거나, 추정량 자체가 특정한 방향으로 치우쳐져 있는 경우 등이 있다. 또한, 모델링 과정에서 가정이 잘못되었거나, 모형이 너무 단순화된 경우에도 편의가 발생할 수 있다.

편의 추정량은 추정 결과의 정확성을 떨어뜨릴 수 있으므로, 가능한 한 편의를 줄이는 것이 중요하다. 하지만, 때로는 편의가 약간 있더라도 분산(Variance)이 매우 작은 추정량을 사용하는 것이 전체적인 평균 제곱 오차(Mean Squared Error, MSE)를 줄이는 데 더 효과적일 수 있다. 이러한 추정량을 편의-분산 트레이드오프(Bias-Variance Tradeoff) 관점에서 고려할 수 있다.

편의 추정량의 예시로는 최댓값 추정량(Maximum Likelihood Estimator, MLE)이 있다. MLE는 일반적으로 점근적 불편성을 가지지만, 표본 크기가 작은 경우에는 편의가 존재할 수 있다. 또한, 릿지 회귀(Ridge Regression)나 라쏘 회귀(Lasso Regression)와 같은 정규화(Regularization) 기법은 편의를 증가시키는 대신 분산을 줄여 예측 성능을 향상시키는 방법으로 사용된다.