트위스터 끈 이론(Twistor string theory)은 N = 4 초대칭 양-밀스 이론(N = 4 supersymmetric Yang–Mills theory)과 트위스터 공간(twistor space)에서의 섭동 위상수학적 B 모형 끈 이론(perturbative topological B model string theory) 사이의 동등성을 가리키는 이론물리학의 개념이다. 2003년 이론물리학자 에드워드 위튼(Edward Witten)이 처음 제안하였다.
트위스터 이론 자체는 1960년대부터 수학자 로저 펜로즈(Roger Penrose)에 의해 양자 이론과 중력을 통합하는 새로운 접근 방식으로 도입되었다. 트위스터 공간은 3차원 복소사영 공간(complex projective space)으로, 물리량이 특정 구조적 변형으로 나타나는 공간이다. 이 공간에서는 시공간과 친숙한 물리적 장이 파생되어 나타난다. 트위스터 공간은 키랄성(chirality, 손대칭성)을 가지며, 왼손 및 오른손 객체가 다르게 처리된다. 예를 들어 중력의 중력자(graviton)와 강한 상호작용의 글루온(gluon)은 모두 오른손 방향이다.
위튼은 2003년 논문에서 끈 이론이 트위스터 공간에 어떻게 도입되어 왼손 및 오른손 장을 모두 통합하고 완전한 상호작용을 포함하는 물리적 모델을 제공할 수 있는지를 보여주었다.
트위스터 끈 이론의 가장 중요한 기여는 입자-입자 충돌 산란 진폭(scattering amplitude) 계산에 있다. 산란 진폭은 가능한 산란 과정의 확률을 결정하는 물리량이다. 위튼은 이 진폭들이 트위스터 공간에서 매우 단순한 구조를 가지며, 특히 대수 곡선(algebraic curve) 위에서 지지됨을 증명하였다. 이를 통해 입자 충돌기 실험 결과에 대한 더 나은 이해와 다양한 양자장론의 본질에 대한 깊은 통찰이 가능해졌다. 이러한 통찰은 순수 수학 분야로도 확장되어, 그라스마니안 유수 공식(Grassmannian residue formulae), 진폭면체(amplituhedron), 정칙 연결(holomorphic linking) 등의 주제에 새로운 관점을 제공하였다.
트위스터 끈 이론은 현대 이론물리학에서 게이지 이론과 끈 이론 사이의 대응 관계를 연구하는 중요한 분야로 자리 잡고 있으며, 양자장론의 산란 진폭 계산 방법론에 혁신적인 변화를 가져왔다.
