개요
GPT-2(Generative Pre-trained Transformer 2)는 미국의 인공지능 연구기관 OpenAI에서 개발한 대규모 자연어 처리 모델이다. 기존 모델인 GPT(Generative Pre-trained Transformer)의 후속 버전으로, 2019년 2월에 처음 공개되었다.
개발 배경
OpenAI는 자연어 이해 및 생성 능력을 향상시키기 위해 트랜스포머(Transformer) 구조에 기반한 사전 학습(pre‑training) 방식을 적용하였다. GPT-2는 대규모 텍스트 코퍼스를 사용해 비지도 학습(pre‑training)한 뒤, 특정 과제에 대해 미세 조정(fine‑tuning) 없이도 다양한 언어 작업을 수행할 수 있도록 설계되었다.
주요 특징
| 항목 | 내용 |
|---|---|
| 모델 구조 | 트랜스포머 디코더(Transformer decoder) 기반 |
| 파라미터 수 | 1억 5천만(117M)부터 15억(1.5B)까지 4가지 규모(117M, 345M, 762M, 1.5B) |
| 학습 데이터 | 약 8백만 웹 페이지를 수집한 “WebText” 데이터셋(40GB) |
| 학습 방식 | 언어 모델링 목표(다음 토큰 예측)으로 비지도 사전 학습 수행 |
| 제로샷(Zero‑Shot) 능력 | 별도 미세 조정 없이도 텍스트 요약, 번역, 질문‑응답 등 다양한 작업을 수행할 수 있음 |
| 공개 정책 | 초기에는 1.5B 모델 전체를 공개하지 않고, 단계적으로 작은 규모 모델을 공개한 뒤, 잠재적 악용 위험을 고려해 전체 모델을 11월 2019년에 공개함 |
공개 및 영향
GPT-2는 공개된 이후 텍스트 생성 품질이 크게 향상된 사례로 주목받았다. 특히, 인간이 작성한 것으로 오인할 정도의 일관된 문단을 자동으로 생성할 수 있다는 점에서 자연어 생성(NLG) 분야의 연구 및 응용에 큰 영향을 미쳤다. 또한, 모델의 악용 가능성(예: 허위 정보 생성, 스팸) 논의가 활발히 이루어졌으며, AI 윤리·안전 정책 논의에 기여하였다.
관련 연구·출판물
- Radford, A. et al. (2019). “Language Models are Unsupervised Multitask Learners.” (OpenAI Technical Report)
- Brown, T. B. et al. (2020). “Language Models are Few-Shot Learners.” (GPT‑3 논문, GPT‑2와 구조적 연속성을 설명)
참고
본 내용은 OpenAI가 공개한 공식 자료와 학술적 리뷰를 바탕으로 정리되었으며, 최신 업데이트는 OpenAI 웹사이트 및 최신 학술 데이터베이스에서 확인할 수 있다.
