무한소(無限小, infinitesimal)는 0은 아니지만 그 크기가 임의의 양수보다도 작게 만들 수 있는 양, 즉 무한히 작은 수를 의미하는 수학적 개념이다. 17세기 미적분학의 초기 발달 과정에서 뉴턴과 라이프니츠 등에 의해 사용된 핵심적인 개념 중 하나이다.
개념 및 역사적 배경: 미적분학이 처음 등장했을 때, 뉴턴의 유율(fluxion)이나 라이프니츠의 미분(differential) 개념은 무한히 작은 변화량을 다루는 데 무한소를 활용했다. 예를 들어, 곡선의 접선을 찾거나 면적을 계산할 때, 이 무한소를 마치 0이 아닌 일반적인 수처럼 취급하여 계산을 진행했다. 그러나 무한소가 정확히 무엇인지에 대한 엄밀한 정의가 부족하여, 18세기에는 버클리 주교와 같은 비판가들로부터 "사라진 양의 유령"과 같은 비판을 받기도 했다.
현대적 해석 (표준 해석학): 19세기 코시, 바이어슈트라스 등에 의해 극한 개념이 엄밀하게 정립되면서, 무한소의 개념은 대부분 극한으로 대체되었다. 현대 미적분학(표준 해석학)에서 "함수 f(x)가 x=a에서 무한소이다"는 말은 $\lim_{x \to a} f(x) = 0$임을 의미한다. 즉, 특정 점으로 접근할 때 그 함숫값이 0에 한없이 가까워지는 상태를 표현하는 것이다. 여기서는 무한소를 독립적인 '수'로 보지 않고, 극한 과정을 통해 설명되는 '상태' 또는 '경향'으로 이해한다. 예를 들어, 미분 계수의 정의 $\lim_{h \to 0} \frac{f(x+h) - f(x)}{h}$에서 $h$가 0에 접근하는 양으로 이해되는 것이다.
비표준 해석학: 그러나 20세기 중반, 아브라함 로빈슨(Abraham Robinson)은 초실수(hyperreal number)를 도입하여 무한소와 무한대 개념을 수학적으로 엄밀하게 정의하는 비표준 해석학(non-standard analysis)을 개발했다. 비표준 해석학에서는 실제로 0이 아닌 무한소를 가지는 수를 다룰 수 있으며, 이를 통해 초기 미적분학의 직관적인 개념들을 현대 수학의 엄밀한 틀 안에서 재해석할 수 있게 되었다.
의의: 비록 대부분의 미적분학 교육에서는 극한 개념을 통해 무한소를 설명하지만, 무한소는 여전히 미분과 적분의 직관적인 이해에 중요한 역할을 한다. 극소량의 변화를 통해 전체 변화를 이해하고, 미세한 조각을 모아 전체를 구성하는 미적분학의 기본 아이디어를 시각적으로나 개념적으로 파악하는 데 유용하다.