토큰(token)은 영어 단어 "token"에서 유래한 용어로, 분야에 따라 서로 다른 의미를 지니는 다의어이다. 원어의 기본 의미는 '표시', '증표', '대용품' 등이며, 실제 사용 맥락에 따라 물리적 대상부터 추상적 권한 표지에 이르기까지 다양한 대상으로 확장되었다. 이 단어는 넘쳐나는 맥락 속에서 각각 독립적으로 정착되어 있으며, 다음의 주요 분야에서 널리 사용된다.
1. 물리적 대용 주화로서의 토큰
화폐학에서 토큰은 정부가 발행하는 법정 주화 대신 사설 기관이나 상인이 발행한 주화 유사 물체를 가리킨다. 동전 대신 특정 물품이나 서비스와 교환되는 수단으로 활용되며, 구리·황동·알루미늄 등 저렴한 금속이나 가죽, 도자기, 플라스틱 같은 비금속 재료로 만들어진다. 로마 제국 시기의 스핀트리아, 중세 잉글랜드 수도원의 토큰, 17~19세기 영국과 북아메리카에서 주화 부족 시기에 상인들이 발행한 상업용 토큰 등이 역사적 사례에 해당한다. 근대에는 카지노 칩, 대중교통 운임 토큰, 유료 화장실 토큰, 아케이드 게임 토큰, 쇼핑카트 토큰 등으로 형태가 남아 있으며, 현대에는 전자 결제와 스마트카드의 보급으로 대체되어 점차 사라지는 추세이다.
2. 컴퓨팅·프로그래밍에서의 토큰
컴퓨터 과학에서 토큰은 어휘 분석(lexical analysis)의 기본 단위를 의미한다. 소스 코드나 입력 텍스트를 컴파일러나 파서가 해석할 때, 의미를 가지는 최소 단위로 분해된 요소들이 각각 토큰으로 취급된다. 예를 들어 프로그래밍 언어에서 키워드, 식별자, 연산자, 구분자, 리터럴 등이 각각 하나의 토큰이며, 컴파일러는 이들을 순차적으로 인식하여 구문 분석을 수행한다.
3. 보안·인증에서의 토큰
정보 보안 분야에서 토큰은 특정 작업을 수행할 수 있는 권한을 나타내는 객체(소프트웨어 또는 하드웨어)를 의미한다. 대표적으로 세션 토큰, 액세스 토큰, 보안 토큰이 있으며, 웹 서비스에서 로그인 상태를 유지하고 API 호출을 인증하는 데 사용된다. JSON 웹 토큰(JWT)은 클레임 기반 토큰의 가장 대표적인 사례로, 사용자 식별 정보와 만료 시간 등을 담아 서버 간 인증 및 권한 부여에 널리 활용된다. OAuth 등 현대 인증 프로토콜에서도 토큰이 핵심 요소로 사용된다.
4. 블록체인·암호화폐에서의 토큰
암호화폐 분야에서 토큰은 자기만의 독자적인 블록체인(메인넷)을 보유한 '코인'과 구분되는 개념으로, 기존 블록체인 플랫폼 위에서 발행되는 디지털 자산을 가리킨다. 이더리움의 ERC-20 표준을 따르는 토큰이나 대체 불가능 토큰(NFT)이 대표적이다. 토큰은 결제, 투자, 거버넌스 투표, 포인트, 콘텐츠 이용권 등 다양한 용도로 사용되며, 정부가 발행하는 화폐와 달리 사적 주체에 의해 발행된다는 점에서 역사적 대용 주화와도 유사한 성격을 지닌다.
5. 자연어 처리(NLP)에서의 토큰
인공지능과 자연어 처리 분야에서 토큰은 텍스트를 분해한 최소 처리 단위를 의미한다. 문장을 단어, 부분 문자열, 또는 기호 단위로 나누는 '토큰화(tokenization)' 과정을 거쳐 생성되며, 대규모 언어 모델(GPT 등)은 이러한 토큰 단위로 언어를 이해하고 생성한다. 언어마다 토큰화 방식이 달라 같은 문장이라도 모델별로 서로 다른 수의 토큰으로 분해될 수 있다.
6. 기타 용례
이 밖에도 토큰은 성찬 토큰(종교적 자격 증표), 군용 포그(해외 주둔 군대에서 사용하던 토큰), 전화 토큰(불안정한 통화 체계 국가에서 가격 조정을 위해 사용) 등 다양한 물리적·사회적 맥락에서 사용되어 왔다. 또한 음악 그룹 '더 토큰스' 같은 고유 명사로도 존재한다.
종합하면, 토큰은 물리적 대용물에서 추상적인 권한 표지에 이르기까지 넓은 의미 영역을 가지는 용어이며, 각 분야의 전문적 맥락에서 고유한 의미로 정착되어 사용되고 있다.
