제한된 볼츠만 머신
제한된 볼츠만 머신(Restricted Boltzmann Machine, 이하 RBM)은 무향 그래프 구조를 갖는 확률적 생성 모델 중 하나로, 두 층(layer)으로 구성된 이진 볼츠만 머신이다.
기본 구조
- 가시층(Visible layer): 관측 데이터가 입력되는 뉴런 집합이며, 일반적으로 이진 혹은 확률적 이진 값(0/1)을 가진다.
- 숨김층(Hidden layer): 데이터의 잠재적 특성을 학습하는 뉴런 집합이며, 역시 이진 값으로 표현된다.
- 제한(Restricted): 가시층의 뉴런 간, 숨김층의 뉴런 간에는 직접적인 연결이 없으며, 오직 가시층과 숨김층 사이에만 가중치가 존재한다. 이로 인해 에너지 함수가 간단해지고, 조건부 확률이 각각의 뉴런에 대해 독립적으로 계산될 수 있다.
에너지 함수와 확률 분포
RBM은 다음과 같은 에너지 함수를 정의한다.
$$ E(\mathbf{v},\mathbf{h}) = -\mathbf{b}^\top \mathbf{v} - \mathbf{c}^\top \mathbf{h} - \mathbf{v}^\top \mathbf{W} \mathbf{h} $$
- $\mathbf{v}$: 가시층 벡터
- $\mathbf{h}$: 숨김층 벡터
- $\mathbf{W}$: 가시‑숨김 가중치 행렬
- $\mathbf{b}, \mathbf{c}$: 각각 가시층·숨김층의 편향(bias) 벡터
전체 모델은 볼츠만 분포에 따라 확률을 정의한다.
$$ P(\mathbf{v},\mathbf{h}) = \frac{1}{Z}\exp\bigl(-E(\mathbf{v},\mathbf{h})\bigr) $$
$Z$는 정규화 상수(분배함)이다.
학습 방법
RBM은 주어진 데이터 셋에 대한 로그우도(log‑likelihood)를 최대화하도록 파라미터 $\mathbf{W}, \mathbf{b}, \mathbf{c}$를 조정한다. 일반적으로 대조 발산(Contrastive Divergence, CD) 알고리즘이 사용되며, 이는 다음과 같은 절차를 포함한다.
- 현재 파라미터로부터 가시층 데이터를 입력받아 숨김층을 조건부 확률 $P(h_j=1|\mathbf{v}) = \sigma(c_j + \sum_i W_{ij} v_i)$ 로 샘플링
- 숨김층 샘플을 바탕으로 다시 가시층을 재구성 $P(v_i=1|\mathbf{h}) = \sigma(b_i + \sum_j W_{ij} h_j)$
- 재구성된 가시층을 사용해 숨김층을 다시 샘플링하고, 첫 번째와 두 번째 단계에서 얻은 통계량 차이를 이용해 파라미터를 업데이트
여기서 $\sigma(\cdot)$는 시그모이드 함수이다.
주요 응용 분야
- 차원 축소: 숨김층의 활성화를 저차원 특징 표현으로 활용
- 특징 학습: 비지도 학습 방식으로 사전 학습된 특징을 다른 모델(예: 심층 신경망)의 입력으로 이용
- 추천 시스템: 사용자‑아이템 행렬을 가시층으로 두고, 숨김층을 통해 잠재 요인을 추정
- 음성·이미지 복원: 결손된 입력을 재구성함으로써 노이즈 제거나 데이터 보강에 활용
변형 및 확장
RBM을 기반으로 다양한 변형이 제안되었다. 예를 들어, 가시층 또는 숨김층에 연속값을 허용하는 Gaussian‑RBM, 클래스 라벨 정보를 함께 학습하는 라벨드 RBM, 여러 RBM을 순차적으로 쌓아 깊은 신뢰 네트워크(Deep Belief Network, DBN) 를 구성하는 방식 등이 있다.
참고 문헌
- Hinton, G. E. (2002). A Practical Guide to Training Restricted Boltzmann Machines. University of Toronto Technical Report.
- Fischer, A., & Igel, C. (2012). Training Restricted Boltzmann Machines: An Introduction. In Pattern Recognition (pp. 301‑321). Springer.
- Salakhutdinov, R., & Hinton, G. (2009). Deep Boltzmann Machines. In Artificial Intelligence and Statistics (pp. 448‑455).
(위 내용은 공개된 학술 자료와 교과서에 근거한 객관적 서술이며, 확인되지 않은 정보는 포함하지 않았다.)
