정의
일반화 선형 모형(Generalized Linear Model, GLM)은 통계학에서 종속 변수의 분포가 정규분포에 국한되지 않고, 지수 가족(exponential family)에 속하는 다양한 확률분포를 가정할 수 있도록 확장된 회귀 모형이다. GLM은 세 가지 주요 구성 요소(랜덤 컴포넌트, 시스템 컴포넌트, 연결 함수)로 이루어진다.
주요 구성 요소
-
랜덤 컴포넌트(Random Component)
- 종속 변수 $Y$가 지수 가족에 속하는 확률분포를 따른다고 가정한다. 예를 들어, 이항분포, 포아송분포, 정규분포, 감마분포 등이 있다.
-
시스템 컴포넌트(Systematic Component)
- 설명 변수(독립 변수)들의 선형 결합으로 표현되는 선형 예측자 $\eta$를 정의한다.
$$ \eta = \beta_0 + \beta_1 X_1 + \dots + \beta_p X_p $$
- 설명 변수(독립 변수)들의 선형 결합으로 표현되는 선형 예측자 $\eta$를 정의한다.
-
연결 함수(Link Function)
- 기대값 $\mu = E(Y)$와 선형 예측자 $\eta$를 연결하는 단조 함수 $g(\cdot)$를 지정한다. 즉, $g(\mu) = \eta$.
- 로그 링크(log link): 포아송 회귀 등
- 로짓 링크(logit link): 이항 회귀(로지스틱 회귀) 등
- 역 링크(inverse link): 감마 회귀 등
- 기대값 $\mu = E(Y)$와 선형 예측자 $\eta$를 연결하는 단조 함수 $g(\cdot)$를 지정한다. 즉, $g(\mu) = \eta$.
대표적인 사례
- 로지스틱 회귀: 종속 변수가 이항형(0/1)인 경우, 로그오즈(log odds)를 선형 예측자와 연결한다(로짓 함수).
- 포아송 회귀: 사건 발생 횟수와 같은 카운트 데이터를 모델링하며, 기대값을 로그 함수를 통해 선형 예측자와 연결한다.
- 다항 로지스틱 회귀: 다중 클래스 분류 문제에 확장된 형태로, 각 클래스에 대한 확률을 로그오즈로 연결한다.
- 감마 회귀: 양수 연속형 응답 변수를 모델링하며, 역 함수 등을 연결 함수로 사용한다.
적용 분야
일반화 선형 모형은 생물통계, 공학, 경제학, 사회과학 등 다양한 분야에서 관측 데이터가 정규분포 가정에 맞지 않을 때 널리 활용된다. 예측, 변수 선택, 가설 검정, 인과관계 분석 등에 사용된다.
수학적 형태 요약
$$ \begin{aligned} Y &\sim \text{ExponentialFamily}(\theta, \phi) \ g(\mu) &= \eta = X\beta \ \text{where } \mu &= E(Y),\ \theta = \text{canonical parameter},\ \phi = \text{dispersion parameter} \end{aligned} $$
참고문헌
- McCulloch, C. E., & Nelder, J. A. (1994). Generalized Linear Models. Chapman & Hall.
- Dobson, A. J., & Barnett, A. G. (2008). An Introduction to Generalized Linear Models. 2nd ed., CRC Press.
요약
일반화 선형 모형은 전통적인 선형 회귀를 확장하여 다양한 분포 형태의 종속 변수를 포함할 수 있게 한 통계 모델로, 연결 함수를 통해 선형 예측자와 기대값을 연결한다. 이를 통해 비정규 데이터에 대한 추정 및 예측이 가능하며, 여러 분야에서 중요한 분석 도구로 활용된다.
