타입‑토큰 구별
정의
타입‑토큰 구별(type‑token distinction)은 언어학·인지과학·컴퓨터 과학 등에서 사용되는 개념으로, ‘형식(type)’과 ‘구체적 사례(token)’를 구분한다. ‘타입(type)’은 특정한 형태나 클래스, 즉 동일한 형태를 공유하는 추상적 범주를 의미하고, ‘토큰(token)’은 그 형태가 실제로 나타나는 구체적인 실존 사례를 가리한다. 예를 들어, 문장 “고양이가 고양이를 쫓는다”에서 ‘고양이’라는 단어는 두 번 등장하지만, 같은 타입에 속하는 두 개의 토큰으로 본다.
어원 및 역사
‘type‑token distinction’이라는 용어는 19세기 말 영국의 철학자이자 언어학자인 프레드릭 윌리엄 프레젤(Frederic William Friedrich Peirce)과 그 이후의 논리학, 언어학 연구에서 등장하였다. 영어 원어는 ‘type’(형식, 유형)과 ‘token’(표현, 실체)으로, 각각 라틴어 typus와 프랑스어 token(표시, 증표)에서 유래한다. 한국어에서는 ‘타입‑토큰 구별’ 혹은 ‘형식‑표현 구분’ 등으로 번역되어 사용된다.
주요 사용 맥락
| 분야 | 적용 예시 |
|---|---|
| 언어학 | 어휘 목록에서 고유 형태(타입)와 텍스트 내 실제 등장 횟수(토큰) 구분 |
| 인지심리학 | 인간이 개념을 추상화(타입)하고 구체적 사례를 기억(토큰)하는 과정 설명 |
| 컴퓨터 과학 (텍스트 마이닝) | 단어 빈도 분석 시 ‘타입 수’(고유 단어 수)와 ‘토큰 수’(전체 단어 수) 구분 |
| 문헌학 | 원고에서 동일 인용구의 반복(토큰)과 인용구 자체(타입) 구분 |
관련 연구 및 참고 문헌
- Saussure, F. de (1916) Course in General Linguistics – 언어 체계 안에서의 차별적 단위 논의.
- Zipf, G. K. (1935) The Psychobiology of Language – 타입‑토큰 비율에 대한 통계적 분석.
- Manning, C. D., & Schütze, H. (1999) Foundations of Statistical Natural Language Processing – 토큰화와 타입‑토큰 구별의 적용 사례.
요약
타입‑토큰 구별은 ‘같은 형태를 공유하는 추상적 범주(타입)’와 ‘그 형태가 실제로 나타난 구체적 사례(토큰)’를 구분하는 개념으로, 언어학, 인지과학, 컴퓨터 과학 등 다수의 학문 분야에서 핵심적인 분석 도구로 활용된다.
