자기유사성(영어: self-similarity)은 어떤 대상의 일부분을 확대했을 때 그 부분이 전체와 닮은 형태를 보이는 성질을 의미한다. 이는 프랙탈(fractal) 기하학의 핵심적인 특징 가운데 하나이며, 부분과 전체 사이의 형태적 유사성이 반복적으로 나타나는 현상을 가리킨다. 관찰하는 척도(scale)에 관계없이 유사한 형태가 유지된다는 점에서 규모 불변성(scale invariance)과 밀접한 관련이 있다.
자기유사성은 그 강도와 성격에 따라 여러 유형으로 구분된다. 정확한 자기유사성(exact self-similarity)은 부분이 전체와 완전히 동일한 형태를 가지는 경우로, 수학적으로 구성된 프랙탈 도형에서 나타난다. 대표적인 예로 시에르핀스키 삼각형(Sierpiński triangle)과 코흐 곡선(Koch curve)이 있으며, 이들은 어떤 부분을 확대하더라도 정확히 동일한 구조가 무한히 반복된다. 준-자기유사성(quasi-self-similarity)은 형태가 정확히 일치하지는 않으나 어느 정도 왜곡된 상태에서 유사성이 유지되는 경우이다. 통계적 자기유사성(statistical self-similarity)은 부분과 전체의 형태가 통계적 특성에서만 유사하게 나타나는 경우로, 자연계에서 관찰되는 대부분의 자기유사성이 이에 해당한다. 해안선, 산맥의 윤곽, 구름의 형태, 나뭇가지의 분기 패턴 등이 통계적 자기유사성의 예시이다.
자기유사성이라는 용어는 프랑스계 미국 수학자 브누아 망델브로(Benoit Mandelbrot, 1924~2010)가 1964년에 처음 도입하였다. 망델브로는 영국 해안선의 길이를 측정하는 문제를 연구하면서, 측정하는 자의 눈금 크기에 따라 해안선의 길이가 달라지는 현상을 관찰하고 이를 설명하기 위해 자기유사성 개념을 발전시켰으며, 이후 프랙탈 기하학이라는 새로운 수학 분야를 체계화하였다.
수학적으로 콤팩트 위상 공간 X가 자기유사성을 가지려면, 유한 집합 S와 비전사 위상동형사상들의 집합 {fs : s ∈ S}이 존재하여 X = ∪s∈S fs(X)를 만족해야 한다. 이때 함수들의 집합은 반복 함수 계(iterated function system, IFS)를 형성한다.
자기유사성은 순수 수학을 넘어 다양한 학문 분야에서 관찰되고 응용된다. 자연과학에서는 생물학적 구조(혈관계, 폐의 기관지, 신경 세포의 수상돌기)와 물리적 현상(난류, 결정 성장, 번개)에서 발견된다. 컴퓨터 네트워크 분야에서는 인터넷 트래픽이 통계적 자기유사성을 나타내는 것이 확인되었으며, 이는 네트워크 설계와 트래픽 공학에 중요한 시사점을 제공한다. 금융공학에서는 주식 시장의 시계열 데이터가 자기 아핀성(self-affinity)을 보이는 것으로 분석된다.
자기유사성보다 더 일반화된 개념으로 자기 아핀성(self-affinity)이 있으며, 이는 부분이 x 방향과 y 방향으로 서로 다른 배율로 축소되는 경우를 가리킨다.
