네트워크 침입 탐지 시스템(Network Intrusion Detection System, NIDS)은 네트워크 트래픽을 실시간으로 모니터링하고 분석하여 비정상적인 활동, 악의적인 공격 시도, 보안 정책 위반 등을 탐지하는 보안 솔루션이다. 호스트 기반 침입 탐지 시스템(HIDS)이 개별 호스트의 로그나 파일 시스템을 감시하는 것과 달리, NIDS는 네트워크 상의 패킷을 수집하여 분석한다.
주요 동작 방식은 다음과 같다.
- 패킷 수집: 네트워크 탭(TAP)이나 스위치의 미러 포트(SPAN 포트)를 통해 네트워크를 흐르는 패킷의 사본을 확보한다.
- 트래픽 분석: 수집된 패킷을 재조립(Reassembly)하고 프로토콜 분석(Protocol Analysis)을 수행하여 애플리케이션 계층(Layer 7)까지 내용을 해석한다.
- 탐지 기법 적용:
- 시그니처 기반 탐지(Signature-based Detection): 알려진 공격 패턴(시그니처, 규칙, 룰셋)과 트래픽을 비교하여 알려진 위협을 식별한다. 오탐(False Positive)률이 상대적으로 낮으나, 신종 공격(Zero-day Attack)이나 변종 공격 탐지에 한계가 있다.
- 이상 행위 기반 탐지(Anomaly-based Detection): 정상적인 네트워크 트래픽의 기준선(Baseline)을 학습하거나 정의해 두고, 여기서 벗어나는 행위를 위협으로 간주한다. 알려지지 않은 공격을 탐지할 수 있으나, 정상 트래픽의 변화에 따라 오탐이 발생할 가능성이 높다.
- 상태 기반 탐지(Stateful Protocol Analysis): 프로토콜의 표준 상태 머신(State Machine)을 기준으로 프로토콜 위반 행위나 비정상적인 상태 전이를 탐지한다.
- 알림 및 대응: 탐지 시 관리자에게 경보(Alert)를 전송하거나 로그를 기록한다. 일부 시스템은 침입 차단 시스템(IPS) 기능과 연동되어 의심스러운 트래픽을 자동으로 차단(TCP RST 전송, 세션 차단 등)하기도 한다.
주요 기능 및 특징은 다음과 같다.
- 네트워크 가시성 확보: 암호화되지 않은 트래픽에 대해 네트워크 전체의 위협 상황을 중앙에서 파악 가능하다.
- 확장성: 네트워크 대역폭 증가에 따라 센서 추가 또는 고성능 하드웨어 구성을 통해 확장이 요구된다.
- 암호화 트래픽 처리 한계: TLS/SSL 등 암호화된 트래픽 내부는 복호화 키가 없는 한 분석이 어렵다. 이에 따라 SSL/TLS 복호화 기능이나 암호화 트래픽 분석(Encrypted Traffic Analysis) 기술이 보완적으로 사용된다.
- 성능 이슈: 고속 네트워크 환경(10Gbps, 100Gbps 이상)에서 패킷 손실 없이 전수 검사를 수행하기 위해 고성능 하드웨어(DPDK, FPGA, ASIC 등) 및 최적화된 소프트웨어 아키텍처가 필요하다.
대표적인 오픈 소스 소프트웨어로는 스노트(Snort), 수리카타(Suricata), 질라(Zeek, 구 Bro) 등이 있으며, 상용 제품으로는 시스코 시큐어 IPS(구 소스파이어), 팔로알토 네트웍스, 포티넷, 트렌드마이크로 등의 솔루션이 있다.
