정의
분류 공간(classification space)은 데이터 분석·머신러닝·패턴 인식 분야에서, 관측된 데이터 포인트들이 서로 구별되는 클래스(범주)로 매핑되는 추상적 공간을 의미한다. 이 공간은 각 데이터가 속할 가능성이 있는 클래스 레이블을 축으로 하여 구성되며, 모델이 입력 데이터를 어느 클래스에 할당할지를 결정하는 기준을 제공한다.
1. 주요 개념
| 개념 | 설명 |
|---|---|
| 클래스 레이블 | 분류 공간의 축을 구성하는 고유한 범주(예: “고양이”, “개”, “자동차”). |
| 결정 경계(Decision Boundary) | 서로 다른 클래스가 구분되는 초평면·곡면 등; 분류 공간 내에서 클래스와 클래스 사이를 나누는 경계. |
| 확률 분포 | 각 클래스에 대한 사후 확률 $P(y |
| 특성(Feature) 공간 | 입력 데이터를 수치화한 공간. 분류 공간은 특성 공간 위에 정의된 결정 규칙을 통해 형성된다. |
| 다중 클래스(multi‑class) 분류 | 두 개 이상의 클래스를 다루는 경우, 분류 공간은 $K$ 차원의 라벨 벡터($K$ = 클래스 수)로 표현된다. |
| 임베딩(Embedding) | 고차원 특성 공간을 저차원 분류 공간에 투사해 시각화·학습 효율을 높이는 기법(예: t‑SNE, UMAP). |
2. 수학적 정의
-
이산형 분류 공간
$$ \mathcal{Y} = {c_1, c_2, \dots, c_K} $$ 여기서 $c_i$는 가능한 클래스 레이블이며, $|\mathcal{Y}| = K$는 클래스의 개수이다.- 예시: 이진 분류에서는 $\mathcal{Y} = {0,1}$ 혹은 ${-1, +1}$ 로 나타낸다.
-
연속형(확률적) 분류 공간
$$ \mathcal{P} = {,\mathbf{p} = (p_1, p_2, \dots, p_K) \mid p_i \ge 0,\ \sum_{i=1}^{K} p_i = 1,} $$ 여기서 $\mathbf{p}$는 각 클래스에 대한 사후 확률 벡터이며, $\mathcal{P}$는 단순히 $K$-차원 단순체(simplex)이다.- 소프트맥스(softmax) 함수는 로짓(logit) $\mathbf{z}$를 $\mathcal{P}$에 사상한다:
$$ p_i = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}. $$
- 소프트맥스(softmax) 함수는 로짓(logit) $\mathbf{z}$를 $\mathcal{P}$에 사상한다:
-
결정 함수
$$ f: \mathcal{X} \to \mathcal{Y} $$ 혹은 확률적 경우
$$ f: \mathcal{X} \to \mathcal{P}, $$ 여기서 $\mathcal{X}$는 특성(입력) 공간이다.- 최대 사후 확률(MAP) 규칙: $\hat{y} = \arg\max_{c_i} p_i$.
3. 응용 분야
| 분야 | 구체적 활용 사례 |
|---|---|
| 이미지 분류 | Convolutional Neural Network(CNN)의 최종 softmax 레이어가 정의하는 $K$-차원 확률 분류 공간. |
| 자연어 처리(NLP) | BERT, GPT 등 Transformer 기반 모델의 토큰 레벨 예측에서 단어 사전 크기 만큼의 분류 공간. |
| 음성 인식 | 음성 신호를 phoneme 혹은 단어 단위로 매핑하는 HMM·RNN 기반 분류 공간. |
| 의료 진단 | 질병 유무·다중 질환 카테고리를 구분하는 로지스틱 회귀·딥러닝 모델의 클래스 공간. |
| 이상 탐지 | 정상/비정상 이진 분류 외에 “정상‑1”, “정상‑2”… 등 세분화된 클래스 공간을 정의하여 세밀한 경보 체계 구현. |
| 강화학습 | 에이전트의 행동(액션)을 선택할 때, 각 행동이 하나의 클래스로 간주되는 행동(액션) 분류 공간. |
4. 관련 용어 및 개념
| 용어 | 설명 |
|---|---|
| 특성 공간(feature space) | 원시 데이터가 수치화된 고차원 벡터 공간. 분류 모델은 이 공간 위에서 결정 경계를 학습한다. |
| 라벨 공간(label space) | 분류 공간과 거의 동의어로 사용되며, 특히 지도학습에서 레이블 자체가 차지하는 추상적 공간을 가리킨다. |
| 확률 단순체(probability simplex) | 연속형 분류 공간의 기하학적 형태; 차원 $K-1$의 정규화된 다각형. |
| 다중 라벨 분류(multi‑label classification) | 하나의 샘플이 복수의 레이블을 가질 수 있는 경우, 라벨 집합을 이진 벡터로 표현해 $2^K$ 차원의 분류 공간을 정의한다. |
| One‑vs‑Rest, One‑vs‑One | 다중 클래스 문제를 이진 분류 공간 여러 개로 분할해 학습·예측하는 전략. |
| 시각화 | t‑SNE, UMAP 등 차원 축소 기법을 이용해 고차원 분류 공간을 2‑3 차원에 투영, 클래스 간 군집 구조 파악. |
5. 대표적인 모델과 분류 공간 구현
| 모델 | 분류 공간 구현 방식 |
|---|---|
| 로지스틱 회귀 | 2‑클래스 경우 1‑차원 확률값, 다중 클래스 경우 softmax에 의해 $K$‑차원 확률 단순체. |
| 서포트 벡터 머신(SVM) | 이진 경우 힌지 손실에 의해 결정 함수값을 실수축에 매핑; 다중 클래스는 “One‑vs‑Rest” 등으로 다수의 이진 분류 공간을 조합. |
| 신경망(MLP, CNN, RNN 등) | 마지막 fully‑connected 레이어 + softmax → $K$‑차원 확률 분류 공간. |
| 결정 트리·랜덤 포레스트 | 리프 노드마다 클래스 비율을 저장, 이를 확률 분류 공간으로 해석 가능. |
| 베이지안 모델 | 사전·사후 확률을 이용해 클래스에 대한 베이지안 분류 공간을 형성. |
6. 참고문헌·추가 자료
- Bishop, C. M. Pattern Recognition and Machine Learning, Springer, 2006. – 분류 공간과 확률 단순체에 대한 기본 이론.
- Goodfellow, I., Bengio, Y., Courville, A. Deep Learning, MIT Press, 2016. – 딥러닝에서 softmax 레이어가 정의하는 분류 공간.
- Murphy, K. P. Machine Learning: A Probabilistic Perspective, MIT Press, 2012. – 확률적 분류 공간과 MAP 추정.
- LeCun, Y., Bengio, Y., Hinton, G. “Deep learning”, Nature 521, 2015. – 이미지·음성 등 실용 사례에서의 분류 공간 활용.
요약
분류 공간은 데이터가 속할 수 있는 클래스(범주)를 추상적으로 표현한 공간이며, 모델은 이 공간상의 결정 경계를 학습해 입력을 라벨에 매핑한다. 이론적으로는 이산형 레이블 집합이나 연속형 확률 단순체로 정의되며, 실제 시스템에서는 로지스틱 회귀, 신경망, SVM 등 다양한 알고리즘을 통해 구현된다. 다양한 분야(컴퓨터 비전, 자연어 처리, 의료 진단 등)에서 핵심적인 역할을 수행한다.