정의
주성분 분석(Principal Component Analysis, PCA)은 다변량 데이터의 차원을 축소하기 위한 통계적 기법이다. 관측값들 간의 공분산 구조를 기반으로, 데이터의 변동을 가장 크게 설명하는 새로운 직교 좌표계인 주성분(Principal Components)을 도출한다.
목적
- 고차원 데이터를 저차원으로 변환하여 시각화 및 해석을 용이하게 한다.
- 변수 간 상관관계를 제거하고, 차원 축소로 인한 계산량 감소 및 과적합 위험을 낮춘다.
- 데이터의 주요 구조(패턴, 군집 등)를 파악한다.
수학적 원리
- 데이터 전처리: 각 변수의 평균을 0으로 맞추고(중심화), 필요에 따라 표준편차가 1이 되도록 스케일링한다.
- 공분산 행렬 계산: 전처리된 데이터 행렬 $X$에 대해 $\Sigma = \frac{1}{n-1}X^{\top}X$를 구한다.
- 고유값·고유벡터 구하기: $\Sigma$의 고유값 $\lambda_1 \ge \lambda_2 \ge \dots \ge \lambda_p$와 대응하는 고유벡터 $v_1, v_2, \dots, v_p$를 계산한다.
- 주성분 선정: 가장 큰 고유값에 대응하는 고유벡터가 첫 번째 주성분이 되며, 이후 고유값 순으로 필요한 수만큼 선택한다.
- 변환: 원 데이터 $X$를 선택된 고유벡터들($V_k$)로 투영하여 새로운 좌표계 $Z = X V_k$를 얻는다.
주요 활용 분야
- 이미지·음성 처리(특징 추출)
- 금융(위험 요인 분석)
- 생물정보학(유전자 발현 데이터 차원 축소)
- 마케팅(고객 세분화)
- 기계학습 전처리(특징 감소)
제한점
- 선형 관계만을 고려하므로, 비선형 구조를 갖는 데이터에는 적합하지 않을 수 있다.
- 고유값이 급격히 감소하지 않으면 차원 선택 기준이 모호해진다.
- 변수 스케일에 민감하므로 적절한 전처리가 필수이다.
어원·용어 구성
‘주성분’은 “주된(主要) 구성 요소”를 의미하며, ‘분석’은 “데이터를 체계적으로 해석한다”는 뜻이다. 영어 ‘Principal Component Analysis’를 직역한 형태이다.
참고 문헌
- Jolliffe, I. T. (2002). Principal Component Analysis. Springer.
- Pearson, K. (1901). “On lines and planes of closest fit to systems of points in space”. Philosophical Magazine.
위 내용은 통계·데이터 과학 분야에서 널리 인정받는 주성분 분석에 대한 객관적인 서술이다.
