광학 흐름(optical flow, optic flow)은 관찰자와 장면 사이의 상대적인 운동으로 인해 시각적 장면에서 물체, 표면 및 가장자리가 갖는 명백한 운동 패턴을 의미한다. 이미지에서 밝기 패턴의 겉보기 이동 속도 분포로 정의되기도 한다.
이 개념은 1940년대 미국의 심리학자 제임스 J. 깁슨(James J. Gibson)이 세계를 이동하는 동물에게 제공되는 시각적 자극을 설명하기 위해 처음 도입하였다. 깁슨은 환경 내에서 행동 가능성을 식별하는 능력인 여유 인식(affordance perception)에 대한 광학 흐름의 중요성을 강조했다. 이후 심리학의 생태학적 접근 방식 연구에서 관찰자의 움직임 인식, 물체의 형태·거리·움직임 인식, 운동 조절 등에 대한 광학 흐름의 역할이 입증되었다.
계산 이론
광학 흐름은 컴퓨터 비전 및 이미지 처리 분야에서 연속된 두 프레임 사이의 픽셀 이동을 추정하는 핵심 기술로 자리 잡았다. 기본 가정은 다음과 같다.
- 밝기 항상성(Brightness Constancy): 한 물체의 픽셀은 시간이 지나도 밝기 값이 변하지 않는다.
- 시간적 지속성(Temporal Persistence): 인접한 프레임 사이의 움직임이 크지 않다.
이를 바탕으로 광학 흐름은 2차원 벡터 필드 형태로 표현되며, 각 벡터는 특정 픽셀이 이동한 방향과 크기를 나타낸다.
주요 알고리즘
고전적인 광학 흐름 알고리즘으로는 다음과 같은 방법이 있다.
- 루카스-카나데(Lucas-Kanade) 방법: 국소 윈도우 내에서 최소 제곱법을 사용하여 흐름을 추정하는 방법으로, 희소 광학 흐름(sparse optical flow)에 주로 사용된다.
- 혼-슁크(Horn-Schunck) 방법: 전역적(global) 방법으로, 흐름 필드의 전체적인 매끄러움을 제약 조건으로 추가하여 조밀한 광학 흐름(dense optical flow)을 계산한다.
- TV-L1 방법: 총변동(Total Variation) 정규화와 L1 데이터 항을 사용하는 방법으로, 에지 보존에 강점이 있다.
최근에는 딥러닝 기반의 방법(FlowNet, RAFT, PWC-Net 등)이 등장하여 고전적 방법보다 더 정확하고 효율적인 광학 흐름 추정이 가능해졌다.
활용 분야
광학 흐름은 다음 분야에서 널리 사용된다.
- 물체 감지 및 추적(Object Detection and Tracking): 연속 프레임에서 움직이는 물체를 탐지하고 추적하는 데 활용된다.
- 비디오 압축(Video Compression): MPEG과 같은 코덱에서 움직임 보상(motion compensation) 부호화의 핵심 기술이다.
- 로봇 내비게이션(Robot Navigation): 시각적 주행 거리 측정(visual odometry), 장애물 회피, 초소형 항공기 제어에 사용된다.
- 자율 주행(Autonomous Driving): 차량 주변의 움직임을 분석하여 충돌 방지 및 경로 계획에 활용된다.
- 모션 보간 및 프레임 보간(Frame Interpolation): 영상의 프레임 레이트를 높이거나 슬로우 모션 효과를 만드는 데 사용된다.
- 구조 추정(Structure from Motion): 2D 영상에서 3D 장면 구조를 추정하는 데 기여한다.
광학 흐름과 모션 필드의 차이
광학 흐름은 이미지 밝기 패턴의 겉보기 움직임을 의미하는 반면, 모션 필드(motion field)는 3D 공간에서의 실제 움직임을 2D 이미지 평면에 투영한 것이다. 이 둘은 이론적으로 구분되는 개념이며, 실제 광학 흐름이 항상 모션 필드와 일치하는 것은 아니다. 예를 들어, 회전하는 구형 물체의 표면에 조명이 균일하면 표면 질감이 없어 광학 흐름이 감지되지 않지만, 모션 필드는 존재하게 된다.
광학 흐름은 컴퓨터 비전, 로봇공학, 인지 심리학, 영상 처리 등 다양한 학문 분야에서 핵심적인 개념으로 자리 잡고 있으며, 특히 동영상 데이터에서 움직임 정보를 추출해야 하는 거의 모든 응용에서 기초 기술로 사용된다.
