인증 프로토콜(Authentication protocol)은 두 실체 간에 인증 데이터를 전송하기 위해 설계된 컴퓨터 통신 프로토콜 또는 암호 프로토콜의 일종이다. 수신하는 실체가 연결 실체를 인증하는 것(예: 클라이언트가 서버에 접속)뿐만 아니라, 인증과 문법에 필요한 정보 유형을 선언함으로써 송신 실체가 스스로를 연결 실체(서버→클라이언트)에 인증하는 것도 가능하게 한다. 컴퓨터 네트워크 내에서 안전한 통신을 보장하는 데 필요한 가장 중요한 보호 계층 중 하나로 간주된다.
인증 프로토콜의 핵심 목적은 통신 당사자의 신원을 확인하여, 허가되지 않은 주체가 시스템이나 데이터에 접근하는 것을 방지하는 데 있다. 인증 과정은 일반적으로 식별(identification) 단계와 검증(verification) 단계로 구성되며, 제시된 식별자에 대해 상대방이 그 신원의 유효성을 확인하는 방식으로 진행된다.
주요 인증 방식으로는 질문-응답(Challenge-Response), 디지털 서명(Digital Signature), 변환된 암호(Transformed Passwords), 타임스탬프(Timestamp) 방식 등이 있다. 계층별로 구분하면, 2계층(점대점 데이터링크 계층)용 인증 프로토콜로는 PAP(Password Authentication Protocol)와 CHAP(Challenge Handshake Authentication Protocol) 등이 있으며, 네트워크 접속 인증을 위한 확장 가능 인증 프로토콜(EAP, Extensible Authentication Protocol)은 RFC 3748(구 RFC 2284)에 정의되어 있고 RFC 5247에 의해 갱신되었다.
현대의 웹 및 클라우드 환경에서는 OAuth, OpenID Connect, SAML(Security Assertion Markup Language)과 같은 표준화된 인증 프레임워크가 널리 사용되며, 기업 환경에서는 Kerberos나 RADIUS(Remote Authentication Dial-In User Service)가 활용된다. 인증 요소의 수에 따라 단일 요소 인증(SFA, Single-Factor Authentication)과 다중 요소 인증(MFA, Multi-Factor Authentication)으로 구분되며, 보안 강화를 위해 두 가지 이상의 인증 요소를 결합하는 방식이 일반적으로 권장된다.
인증 프로토콜은 컴퓨터 네트워크 보안, 정보 보호, 전자상거래, 원격 접속 등 다양한 분야에서 필수적인 구성 요소로 자리 잡고 있으며, 관련 표준과 구현 방식은 지속적으로 발전하고 있다.
