EXAONE은 LG AI Research(엘지 AI연구원)가 개발한 대규모 언어 모델(LLM) 시리즈이다. 2020년부터 LG AI연구원이 추진해 온 인공지능 연구의 결과물로, 국내 최초의 멀티모달 모델 개발을 시작으로 지속적으로 발전해 왔다.
개요
EXAONE은 크게 일반 지시 수행 능력과 추론 능력을 모두 갖춘 파운데이션 모델 시리즈이다. 초기 버전인 EXAONE 3.0(2024년 8월, 7.8B)을 시작으로, EXAONE 3.5(2024년 12월, 2.4B/7.8B/32B), EXAONE Deep(2025년 3월, 2.4B/7.8B/32B), EXAONE 4.0(2025년 7월, 1.2B/32B), EXAONE 4.5(2026년 4월, 33B VLM), K-EXAONE(2025년 12월, 236B MoE) 순으로 발전해 왔다.
주요 모델별 특징
- EXAONE 3.0 / 3.5: 실사용 환경에서의 지시 수행 능력에 중점을 둔 모델이다. 한국어와 영어를 지원하며, BBPE 토크나이저와 약 100,000개의 어휘를 사용한다.
- EXAONE Deep: 수학 및 코딩 영역에서의 추론 성능을 강화한 모델이다. SFT(Supervised Fine-Tuning), DPO(Direct Preference Optimization), Online RL(강화학습) 기법을 활용하여 훈련되었다. EXAONE Deep 7.8B는 동급 규모의 오픈 모델뿐만 아니라 OpenAI o1-mini보다 높은 성능을 보였다.
- EXAONE 4.0: 비추론(Non-reasoning) 모드와 추론(Reasoning) 모드를 하나의 모델에 통합한 하이브리드 추론 모델이다. 에이전틱 툴 사용(Agentic Tool Use) 기능을 도입하였고, 스페인어를 추가로 지원한다. 32B 모델은 하이브리드 어텐션(로컬-글로벌 3:1 비율)과 QK-Reorder-LN 정규화 방식을 채택하였다. 최대 128K 토큰의 컨텍스트 길이를 지원한다. 사전 학습 데이터는 14조 토큰(32B 기준)으로 이전 버전 대비 약 2배 증가하였다.
- EXAONE 4.5: LG AI Research의 첫 번째 오픈 웨이트 비전-언어 모델(VLM)이다. EXAONE 4.0 프레임워크에 전용 비주얼 인코더(12억 파라미터)를 통합하여 총 330억 파라미터를 갖추었다. 문서 이해와 한국어 맥락 추론에서 동급 모델 대비 우수한 성능을 보인다.
- K-EXAONE: 한국 정부의 '자체 AI 파운데이션 모델 사업'의 일환으로 개발된 대규모 다국어 모델이다. MoE(Mixture-of-Experts) 구조를 채택하여 총 2,360억 파라미터 중 추론 시 230억 파라미터만 활성화된다. 한국어, 영어, 스페인어, 독일어, 일본어, 베트남어 등 6개 언어를 지원한다. SuperBPE 전략을 적용한 15만 어휘의 토크나이저를 사용하며, MTP(Multi-Token Prediction) 모듈을 통해 추론 속도를 약 1.5배 향상시켰다. 최대 256K 토큰의 컨텍스트 윈도우를 지원한다.
아키텍처
EXAONE 4.0 32B 모델의 주요 아키텍처 사양은 다음과 같다: d_model 5,120, 64개 레이어, SwiGLU 비선형성, GQA(Grouped Query Attention) 방식, 40개 어텐션 헤드, 8개 KV 헤드, 헤드 크기 128, 최대 시퀀스 길이 131,072, RoPE theta 1,000,000, 어휘 크기 102,400. 1.2B 모델은 30개 레이어, 32개 어텐션 헤드, 최대 시퀀스 길이 65,536 등의 사양을 가진다.
라이선스
EXAONE 모델은 'EXAONE AI Model License Agreement'에 따라 제공된다. 비상업적(Non-Commercial) 연구 및 교육 목적으로 사용이 허가되며, 상업적 이용을 위해서는 별도의 라이선스 계약이 필요하다. K-EXAONE은 별도의 'K-EXAONE AI Model License Agreement'가 적용된다.
공개 및 배포
모든 EXAONE 모델은 Hugging Face를 통해 오픈 웨이트 형태로 공개되어 있으며, TensorRT-LLM, vLLM, SGLang, llama.cpp 등 다양한 추론 엔진을 통해 배포 및 실행이 가능하다.
