분포 의미론
분포 의미론(Distributional Semantics)은 언어학 및 자연어 처리 분야에서 단어의 의미를 해당 단어가 실제 텍스트에서 나타나는 주변 어휘와의 공동 발생(co-occurrence) 패턴을 통해 추정하는 이론 및 방법을 의미한다. 이 접근법은 ‘단어는 그들이 나타나는 맥락에 의해 의미를 가진다’는 분포 가설(Distributional Hypothesis)에 기반한다.
핵심 개념
| 요소 | 설명 |
|---|---|
| 분포 가설 | 같은 맥락에서 사용되는 단어들은 의미가 유사하다는 가정. (John F. Firth, 1957) |
| 공동 발생 행렬 | 단어와 문맥 단어 사이의 빈도 혹은 가중치를 저장한 행렬. |
| 차원 축소 | 고차원 공동 발생 행렬을 저차원 벡터 공간으로 변환하여 계산 효율 및 일반화 능력을 향상시킴. 주요 기법으로는 잠재 의미 분석(LSA), 잠재 디리클레 할당(LDA), 신경망 기반 임베딩(Word2Vec, GloVe, FastText) 등이 있다. |
| 벡터 의미 공간 | 각 단어를 고정된 차원의 실수 벡터로 표현하며, 벡터 간 거리·각도 등을 통해 의미적 유사성을 정량화한다. |
| 응용 분야 | 의미 유사도 측정, 단어군 추출, 의미 확장, 문서 군집화, 질의 응답, 기계 번역, 텍스트 요약 등. |
주요 연구 흐름
- 잠재 의미 분석(LSA, 1990년대) – 특이값 분해(SVD)를 이용해 공동 발생 행렬을 저차원 공간에 투사. 의미와 문서 간의 연관성을 탐색.
- 주제 모델링(LDA, 2003년) – 문서 내 주제를 확률적 토픽으로 모델링하여 단어 의미를 토픽 분포로 표현.
- 신경망 기반 임베딩(Word2Vec, 2013년) – 연속적 단어 표현을 학습하기 위해 Skip‑gram 및 CBOW 모델을 도입, 대규모 코퍼스에서 효율적인 벡터 학습을 실현.
- 컨텍스트 의존 임베딩 – ELMo, BERT 등과 같이 단어의 의미를 문맥에 따라 동적으로 결정하는 사전학습 언어 모델이 등장하면서 분포 의미론의 범위가 확장되고 있다.
참고 문헌 및 출처
- Firth, J. R. (1957). A Synopsis of Linguistic Theory.
- Deerwester, S., et al. (1990). “Indexing by Latent Semantic Analysis.” Journal of the American Society for Information Science.
- Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). “Latent Dirichlet Allocation.” Journal of Machine Learning Research.
- Mikolov, T., et al. (2013). “Efficient Estimation of Word Representations in Vector Space.” Proceedings of ICLR.
- Devlin, J., et al. (2019). “BERT: Pre‑training of Deep Bidirectional Transformers for Language Understanding.” Proceedings of NAACL‑HLT.
요약
분포 의미론은 단어가 실제 텍스트에서 나타나는 통계적 패턴을 활용해 의미를 수치적으로 표현하는 방법론이며, 현대 자연어 처리 기술의 기반이 되는 핵심 이론이다. 이러한 접근은 언어 데이터의 양적 분석을 통해 의미 관계를 모델링함으로써, 인간 언어의 복잡성을 계산적으로 다루는 데 기여한다.
