정의
홉필드 네트워크(Hopfield network)는 상호 연결된 이중향(weight가 대칭인) 이진 뉴런으로 구성된 재귀(recursive) 인공 신경망이다. 각 뉴런은 0 또는 1(또는 –1/ +1)과 같은 이산 상태를 가지며, 네트워크 전체는 에너지 함수(또는 라그랑지안)를 통해 동작한다. 네트워크는 입력 패턴을 초기 상태로 설정한 뒤, 비동기식(또는 동기식) 업데이트 규칙에 따라 상태를 반복적으로 갱신한다. 이 과정에서 에너지 함수는 감소하면서 국소 최소점에 수렴하고, 수렴된 상태는 저장된 패턴 중 하나와 일치한다는 특성을 가진다. 이러한 특성 때문에 홉필드 네트워크는 연관 기억(associative memory) 혹은 내용 주소 지정 메모리(content‑addressable memory) 로 활용된다.
역사·어원
‘Hopfield’는 이 모델을 처음 제시한 미국 물리학자이자 신경과학자인 John J. Hopfield(1949~)의 성을 그대로 차용한 것이다. 1982년 Proceedings of the National Academy of Sciences에 발표된 논문 “Neural networks and physical systems with emergent collective computational abilities”에서 최초로 소개되었다.
구조·특성
| 요소 | 설명 |
|---|---|
| 뉴런(노드) | 이진(±1 또는 0/1) 스테이트를 갖는 단순 전치(threshold) 유닛 |
| 가중치 행렬 | 대칭이며 대각 원소는 0(자기 연결 없음) |
| 에너지 함수 | E = –½ ∑_{i≠j} w_{ij}s_i s_j + ∑_i θ_i s_i (θ는 임계값) |
| 업데이트 규칙 | 비동기식: 하나의 뉴런을 무작위로 선택해 s_i ← sgn(∑_j w_{ij}s_j – θ_i) |
| 수렴성 | 에너지 함수가 단조 감소하므로 반드시 안정적인 국소 최소점에 수렴 |
| 용량 | 저장 가능한 패턴 수는 뉴런 수 N에 비례(대략 0.138 N) |
주요 활용 분야
- 연관 기억 – 손상된 혹은 부분적인 입력으로부터 전체 패턴 복원
- 최적화 문제 – 에너지 최소화와 동일시되는 조합 최적화(예: 여행자 문제)
- 패턴 인식 – 이미지·음성 등 이진화된 데이터의 군집화 및 회복
- 물리‑신경망 연결 – 이방 이징 모델과의 동형성 연구
변형 및 현대적 확장
- 연속형 홉필드 네트워크: 뉴런 상태를 실수값으로 확장하여 미분 가능한 에너지 함수를 정의.
- 모듈식·다층 홉필드: 다중 층 구조 또는 부분 연결을 도입해 용량·표현력을 향상.
- 현대적 홉필드(Modern Hopfield): 2020년대 이후, 어텐션 메커니즘과 연결된 형태로 재해석되어 트랜스포머 모델의 메모리 모듈로 활용되는 사례가 보고됨.
제한점
- 저장 용량이 뉴런 수에 비해 제한적이며, 패턴 간 상관관계가 높을 경우 오류 회귀 발생 가능.
- 대칭 가중치와 이진 상태라는 가정 때문에 실제 생물학적 신경망을 완전히 모델링하기에는 한계가 있다.
참고 문헌
- Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Sciences, 79(8), 2554‑2558.
- Hertz, J., Krogh, A., & Palmer, R. G. (1991). Introduction to the Theory of Neural Computation. Addison‑Wesley.
- Krotov, D., & Hopfield, J. J. (2020). Dense Associative Memory for Pattern Recognition. Neural Computation, 32(9), 2067‑2090.
위 내용은 현재까지 확인된 학술 자료와 교과서에 기반한 객관적 설명이며, 추가적인 최신 연구가 존재할 수 있다.
