웹 크롤러(web crawler)는 월드 와이드 웹(WWW)을 체계적이고 자동화된 방식으로 탐색하며 웹 페이지의 데이터를 수집하는 소프트웨어 프로그램이다. 스파이더(spider), 스파이더 봇(spider bot), 또는 단순히 봇(bot)이라고도 불린다. 웹 크롤러는 검색 엔진이 웹 페이지를 발견하고 색인(index)을 구축하는 핵심 기술로 사용된다.
작동 원리
웹 크롤러는 일반적으로 다음과 같은 과정을 반복하며 동작한다. 먼저 크롤링을 시작할 출발점이 되는 URL 목록(시드 URL, seed URL)을 입력으로 받는다. 해당 URL이 가리키는 웹 페이지에 접속하여 HTML, CSS, JavaScript, 이미지 등 페이지의 콘텐츠를 다운로드한다. 다운로드한 페이지에서 하이퍼링크(URL)를 추출하고, 추출된 URL 중 아직 방문하지 않은 URL을 큐(queue)에 추가하여 다음 탐색 대상으로 삼는다. 이 과정을 반복함으로써 웹 상의 페이지들을 링크를 따라 연쇄적으로 발견해 나간다.
주요 구성 요소
웹 크롤러는 여러 하위 구성 요소로 이루어진다. 미수집 URL 저장소는 아직 다운로드하지 않은 URL을 관리하는 큐 역할을 한다. HTML 다운로더는 HTTP 프로토콜을 통해 실제 웹 페이지를 내려받는다. 도메인 이름 변환기(DNS resolver)는 URL의 도메인 이름을 IP 주소로 변환한다. 콘텐츠 파서는 다운로드한 HTML을 분석하여 유효한 형식인지 검증한다. 중복 콘텐츠 검사기는 해시 값 비교 등을 통해 동일한 내용의 페이지가 중복 수집되지 않도록 방지한다. URL 추출기는 HTML에서 하이퍼링크를 추출하고, URL 필터는 특정 확장자나 접근 제외 목록에 포함된 URL을 걸러낸다.
활용 분야
웹 크롤러의 가장 보편적인 용도는 검색 엔진 인덱싱(search engine indexing)이다. Google의 Googlebot, Bing의 Bingbot, 네이버의 Yeti, DuckDuckGo의 DuckDuckBot 등 주요 검색 엔진은 각자의 웹 크롤러를 운영하여 전 세계 웹 페이지를 수집하고 검색 가능한 인덱스를 구축한다. 이 외에도 웹 아카이빙(web archiving)을 위해 인터넷 아카이브(Internet Archive)의 웨이백 머신(Wayback Machine)이 과거 특정 시점의 웹사이트 스냅샷을 저장하는 데 크롤러를 사용한다. 또한 웹 마이닝(web mining), 시장 조사, 경쟁사 분석, 가격 모니터링, 리드 생성, 저작권 침해 모니터링 등 다양한 비즈니스 목적으로도 활용된다.
웹 크롤러의 유형
포커스드 웹 크롤러(focused web crawler)는 특정 주제나 도메인에 한정된 콘텐츠만 수집한다. 증분 웹 크롤러(incremental web crawler)는 기존에 수집한 페이지를 주기적으로 재방문하여 변경 사항을 반영함으로써 인덱스를 최신 상태로 유지한다. 분산형 크롤러(distributed crawler)는 여러 서버에 작업을 분산하여 대규모 크롤링을 수행하며, 병렬 크롤러(parallel crawler)는 다운로드 효율을 높이기 위해 여러 프로세스를 동시에 실행한다.
예절(Politeness)과 제어
웹 크롤러는 수집 대상 서버에 과도한 부하를 주지 않도록 설계되어야 한다. 동일한 웹사이트에 대해 짧은 시간에 너무 많은 요청을 보내는 것은 서버에 무리를 줄 수 있으며, DoS 공격으로 간주될 수도 있다. 이에 따라 대부분의 웹 크롤러는 요청 간 지연 시간(crawl-delay)을 두거나, 동일 호스트에 대해 한 번에 하나의 요청만 보내도록 설계된다.
웹사이트 소유자는 robots.txt 파일을 통해 크롤러의 접근을 제어할 수 있다. robots.txt는 로봇 배제 프로토콜(Robots Exclusion Protocol, REP)의 일부로, 어떤 크롤러가 사이트의 어떤 부분에 접근할 수 있는지를 명시하는 텍스트 파일이다. 또한 noindex 메타 태그를 사용하여 특정 페이지가 검색 엔진 인덱스에 포함되지 않도록 지정할 수도 있다. 이러한 지침의 준수는 자발적이며, 대부분의 주요 검색 엔진은 이를 따르지만 악의적인 목적의 크롤러는 이를 무시하기도 한다.
웹 크롤링과 웹 스크래핑의 차이
웹 크롤링(web crawling)과 웹 스크래핑(web scraping)은 종종 혼용되지만 목적과 방식에 차이가 있다. 웹 크롤링은 웹 페이지를 발견하고 수집하는 광범위한 탐색 과정에 중점을 두는 반면, 웹 스크래핑은 특정 웹 페이지에서 필요한 데이터(텍스트, 가격, 이미지 등)만을 정확히 추출하는 데 초점을 맞춘다. 크롤링이 웹의 지도를 그리는 작업에 비유된다면, 스크래핑은 그 지도에서 특정 정보를 발췌하는 작업에 해당한다.
과제와 한계
웹 크롤러는 여러 도전 과제에 직면한다. 웹의 규모가 방대하고 콘텐츠가 지속적으로 생성·변경되므로 모든 페이지를 완전히 수집하는 것은 현실적으로 불가능에 가깝다. 크롤러 트랩(spider trap)이라 불리는, 크롤러를 무한 루프에 빠뜨리도록 설계된 페이지나, 동적 콘텐츠, CAPTCHA, IP 차단, 지리적 위치 제한 등이 크롤링을 어렵게 만드는 요인이다. 또한 중복 콘텐츠 처리, 대역폭 소모, 서버 부하 관리 등도 지속적으로 고려해야 할 사항이다.
