문서 언어: 한국어 업데이트: 2026-03-05

스텐실 버퍼

스텐실 버퍼(Stencil Buffer)는 3차원 컴퓨터 그래픽스 파이프라인에서 픽셀 수준의 마스크(mask) 역할을 수행하는 추가적인 버퍼이며, 주로 스텐실 테스트(stencil test)와 결합되어 특정 영역만 선택적으로 렌더링하거나 복잡한 이미지 합성 효과를 구현하는 데 사용된다. OpenGL, Direct3D, Vulkan 등 주요 그래픽 API에서 표준적으로 지원한다.

1. 정의

  • 버퍼 종류: 색상 버퍼(color buffer), 깊이 버퍼(depth buffer)와는 별도로 존재하는 정수형(보통 8비트) 버퍼.
  • 목적: 각 픽셀에 대해 0~255(또는 0~2ⁿ‑1)의 스텐실 값을 저장하여, 이후의 렌더링 단계에서 해당 값을 기준으로 픽셀을 통과시킬지(그릴지) 여부를 판단한다.

2. 작동 원리

  1. 스텐실 테스트 설정

    • API 함수(glStencilFunc, glStencilOp 등)를 통해 비교 함수(예: GL_ALWAYS, GL_EQUAL), 레퍼런스 값, 마스크를 지정한다.
    • 또한 테스트 실패/통과 시 스텐실 값의 변환 규칙(증감, 대입, 유지 등)을 정의한다.

  2. 렌더링 단계

    • 각 프래그먼트가 스텐실 테스트를 거치면, 현재 프래그먼트가 해당 픽셀에 기록될 수 있는지 판단한다.
    • 테스트 결과에 따라 스텐실 값이 업데이트되고, 이후 깊이 테스트, 알파 블렌딩 등 다른 테스트가 수행된다.

  3. 다중 패스 활용

    • 복수의 렌더링 패스를 이용해 스텐실 버퍼에 마스크를 만든 뒤, 그 마스크를 이용해 다른 객체를 제한된 영역에만 그린다는 방식이 일반적이다.

3. 주요 활용 사례

활용 분야 구체적인 구현 예시
거울 효과 첫 번째 패스에서 거울 표면을 스텐실 버퍼에 1로 설정하고, 두 번째 패스에서 스텐실 값이 1인 영역에만 반사된 장면을 그린다.
그림자 볼륨(Shadow Volumes) 스텐실 카운터를 이용해 볼륨 안·밖을 구분하고, 최종적으로 카운터가 0이 아닌 픽셀에 그림자를 적용한다.
클리핑(Clipping) 복잡한 형상(예: 다각형) 내부를 스텐실 값으로 마스크한 뒤, 이후 렌더링을 해당 영역에만 제한한다.
포스트 프로세싱 마스크 화면 전체에 효과를 적용하되, 스텐실 버퍼에 지정된 영역만 선택적으로 보이게 한다.
멀티 레이어 UI UI 레이어 별로 스텐실 값을 달리 부여해, 겹치는 영역에서 렌더링 순서를 제어한다.

4. 구현 세부 사항

  1. 버퍼 포맷
    • 일반적으로 8비트 정수(GL_STENCIL_INDEX8)가 사용되지만, 4비트(GL_STENCIL_INDEX4)나 16비트(GL_STENCIL_INDEX16)도 가능하다.
  2. 초기화
    • 프레임버퍼 생성 시 glClearStencil(0)과 glClear(GL_STENCIL_BUFFER_BIT) 로 초기값을 지정한다.
  3. 동시 사용
    • Depth‑Stencil 결합 버퍼(GL_DEPTH24_STENCIL8 등)를 사용하면 깊이와 스텐실 정보를 하나의 텍스처/렌더버퍼에 저장해 메모리 효율을 높일 수 있다.
  4. 성능 고려
    • 스텐실 테스트 자체는 비교 연산이며, 대부분의 GPU에서 매우 저렴하지만 불필요한 스텐실 퍼포먼스 오버헤드를 방지하기 위해 불필요한 스텐실 업데이트를 최소화한다.

5. 관련 기술 및 표준

기술/표준 설명
OpenGL Stencil Test glEnable(GL_STENCIL_TEST) 로 활성화, glStencilFunc, glStencilOp 로 제어.
Direct3D Stencil D3DRS_STENCILENABLE, D3DRS_STENCILFUNC, D3DRS_STENCILPASS 등으로 설정.
Vulkan VkPipelineDepthStencilStateCreateInfo 구조체에 스텐실 연산 정의.
WebGL OpenGL ES 2.0 기반으로 동일한 함수(glStencilFunc, glStencilOp) 제공.
Metal MTLStencilDescriptor 로 스텐실 상태 정의.

6. 참고 문헌 및 학습 자료

  1. OpenGL Programming Guide (Red Book) – 스텐실 버퍼와 스텐실 테스트 절차 설명.
  2. Real-Time Rendering, 4th Edition – 그림자 볼륨과 스텐실 활용 사례.
  3. GPU Gems 3, Chapter “Stencil Shadows” – 스텐실 기반 그림자 구현 상세.
  4. Khronos Group Specification – OpenGL, OpenGL ES, Vulkan 스텐실 관련 최신 사양.

요약
스텐실 버퍼는 픽셀 단위의 정수 마스크를 저장하고, 스텐실 테스트를 통해 렌더링 결과를 선택적으로 제한·변경함으로써 거울, 그림자, 클리핑 등 다양한 고급 그래픽 효과를 구현하는 핵심적인 GPU 기능이다. 현대 그래픽 API에서는 깊이와 결합된 포맷을 제공해 효율성을 높이며, 올바른 설정과 최소화된 업데이트가 성능 최적화에 중요하다.

둘러보기

더 찾아볼 만한 주제