비주기적 테셀레이션(非週期的 tessellation, 영어: aperiodic tiling) 또는 비주기적 타일링은 평면 또는 공간을 타일로 채울 때, 임의의 반복되는 기본 단위(primitive unit)를 찾을 수 없는 테셀레이션을 말한다. 여기서 기본 단위란 평행 이동만을 사용하여 전체 평면을 채울 수 있는 최소 타일들의 구성을 의미한다. 즉, 비주기적 테셀레이션은 평행 이동 대칭(translation symmetry)을 가지지 않는 테셀레이션이다.
보다 엄밀한 정의에 따르면, 어떤 테셀레이션이 임의의 큰 주기적인 부분을 포함하지 않을 때 이를 비주기적 테셀레이션이라고 한다. 또한, 특정 프로토타일(prototile)들의 집합으로 만들 수 있는 모든 테셀레이션이 비주기적일 경우, 그 프로토타일 집합 자체를 비주기적(aperiodic)이라고 부른다.
비주기적 테셀레이션의 가장 대표적인 예는 영국의 수학자 로저 펜로즈(Roger Penrose)가 1973년~1974년에 고안한 펜로즈 테셀레이션(Penrose tiling)이다. 펜로즈 테셀레이션은 단 두 가지 모양의 타일(연꼴과 화살촉꼴, 또는 두 종류의 마름모)만을 사용하여 평면을 빈틈없이 채우지만, 그 결과물은 절대 반복되는 주기적 패턴을 나타내지 않는다.
비주기적 테셀레이션의 역사는 1961년 논리학자 하오 왕(Hao Wang)이 도미노 문제(domino problem)의 결정 가능성을 연구하면서 시작되었다. 왕은 평면을 채울 수 있는 유한한 프로토타일 집합이 각각 주기적 테셀레이션도 만들 수 있다면 결정 알고리즘이 존재함을 보였다. 1964년 로버트 버거(Robert Berger)는 테셀레이션 문제가 결정 불가능함을 증명하면서 최초의 비주기적 프로토타일 집합을 발견했다. 버거의 집합은 20,426개의 왕 타일(Wang tile)이 필요했으나, 이후 104개, 40개, 6개로 점차 줄어들었다. 1971년 래피얼 미셸 로빈슨(Raphael M. Robinson)은 6개의 타일로 구성된 비주기적 집합을 발견했고, 펜로즈는 이를 2개로 줄였다. 2023년에는 데이비드 스미스(David Smith) 등이 단 하나의 타일(monotile)로만 비주기적 테셀레이션을 만드는 '아인슈타인 타일(Einstein tile)'을 발견하여 학계의 주목을 받았다.
비주기적 테셀레이션을 구성하는 방법으로는 다음과 같은 것들이 알려져 있다.
- 대체하기(substitution) 방법: 타일을 더 작은 타일들로 대체하는 규칙을 반복 적용하여 비주기적 구조를 생성한다. 펜로즈 타일, 바람개비(pinwheel) 타일링 등이 이에 해당한다.
- 잘라 사영하기(cut-and-project) 방법: 고차원 공간의 주기적 구조를 저차원으로 사영하여 비주기적 테셀레이션을 얻는다. 니콜라스 드 브루인(Nicolaas Govert de Bruijn)이 펜로즈 테셀레이션을 5차원 초입방체의 사영으로 설명한 것이 대표적이다.
- 계층적(hierarchical) 방법: 타일들이 더 큰 블록을 형성하는 계층 구조를 강제하여 주기성을 배제한다.
비주기적 테셀레이션은 준결정(quasicrystal)의 수학적 모형 역할을 한다. 준결정은 1982년 단 셰흐트만(Dan Shechtman)이 발견하였으며, 그는 이 연구로 2011년 노벨 화학상을 수상하였다. 준결정은 원자 배열이 장범위 규칙성(long-range order)을 가지지만 평행 이동 대칭은 없는 물질로, 비주기적 테셀레이션의 개념이 물리적 현실과 연결된 대표적인 사례이다.
