진화 게임 이론(進化 게임 理論, 영어: evolutionary game theory, EGT)은 진화하는 개체 집단에 게임 이론을 적용하는 학문 분야이다. 생물학에서 다윈의 자연선택 과정을 경쟁(게임), 전략, 그리고 분석의 틀 안에서 모델링할 수 있도록 정의한다. 전통적인 게임 이론이 합리적인 의사 결정 주체의 전략 선택을 분석하는 반면, 진화 게임 이론은 전략 변화의 역학(dynamics)에 더 초점을 맞추며, 개체(또는 집단)의 경쟁 전략의 빈도에 영향을 받는다는 점에서 차이가 있다.
이 이론은 1973년 영국의 진화생물학자 존 메이너드 스미스(John Maynard Smith)와 조지 R. 프라이스(George R. Price)가 학술지 《네이처》(Nature)에 발표한 논문 "The Logic of Animal Conflict"에서 공식화되었다. 이들은 동물의 의례화된 투쟁 행동(ritualized fighting behaviour)을 설명하기 위해 게임 이론을 진화적 맥락에 적용하였다. 기존의 정통 동물행동학자 니코 틴베르헨(Niko Tinbergen)과 콘라트 로렌츠(Konrad Lorenz)는 이러한 행동이 종(species)의 이익을 위해 존재한다고 주장했으나, 스미스는 개체 수준에서 선택이 일어나는 다윈적 사고와 이는 양립할 수 없다고 보았다.
진화 게임 이론에서 참가자들은 반드시 합리적으로 행동할 필요가 없으며, 단지 전략(strategy)을 가지고 있으면 된다. 생물학에서 전략은 유전적으로 유전되는 형질로, 개체의 행동을 통제한다. 보수(payoff)는 적합도(fitness) 단위로 측정되며, 이는 번식 성공률을 의미한다. 게임은 반복적으로 실행되며, 복제자 역학(replicator dynamics)을 통해 더 적합한 전략을 가진 개체가 더 많은 복제본을 남기고 덜 적합한 개체는 도태된다.
진화 게임 이론의 핵심 개념 중 하나는 진화적으로 안정된 전략(Evolutionarily Stable Strategy, ESS)이다. 이는 어떤 돌연변이 전략도 기존의 집단을 침범할 수 없는 상태를 말한다. ESS는 내쉬 균형(Nash equilibrium)과 유사하지만, 수학적 기준이 더 확장된 개념이다. 대표적인 진화 게임 모형으로는 매-비둘기 게임(hawk-dove game), 소모전 게임(war of attrition), 사슴 사냥 게임(stag hunt), 죄수의 딜레마(prisoner's dilemma) 등이 있다.
이 이론은 다윈 진화론에서 이타적 행동(altruism)의 기초를 설명하는 데 중요한 역할을 하였다. W. D. 해밀턴의 혈연 선택(kin selection) 이론, 로버트 액셀로드와의 협력 진화 연구, 그리고 아모츠 자하비의 핸디캡 원리(handicap principle) 등이 진화 게임 이론의 수학적 모형을 통해 설명되었다. 또한 측면 얼룩 도마뱀(side-blotched lizard)에서 발견된 가위-바위-보 게임(rock-paper-scissors game)과 같은 순환적 진화 패턴도 이 이론의 적용 사례이다.
진화 게임 이론은 생물학을 넘어 경제학, 사회학, 인류학, 철학, 제어 공학, 교통 모델링 등 다양한 분야에서 응용되고 있다.
