Azure Monitor 파이프라인은 ETL(Extract, Transform, Load) 프로세스와 유사하게 기존 데이터 수집 방법을 향상시킵니다. 이 파이프라인은 통합된 수집 파이프라인을 통해 다양한 소스로부터 데이터 수집을 간소화하고, 더 효율적이고 확장 가능한 표준화된 구성 방식을 활용합니다.
Azure Monitor 파이프라인이 온프레미스 인프라, 엣지 위치, 대규모 Kubernetes 클러스터를 포함한 더 복잡하고 보안에 민감한 환경에서 사용되면서 특정 패턴과 과제가 지속적으로 나타나고 있습니다.
이러한 배포 환경에서 나타난 현상들을 바탕으로, 현재 공개 미리 보기로 제공되는 몇 가지 새로운 기능을 소개합니다. 이러한 업데이트는 대규모 환경에서 가장 중요한 세 가지 영역인 보안 수집, 파이프라인 인스턴스가 실행되는 위치 제어, 그리고 Azure Monitor에 데이터가 도달하기 전 데이터 처리에 중점을 둡니다.
새로운 기능은 다음과 같으며, 각 기능이 왜 중요한지 설명합니다.
TLS 및 상호 TLS(mTLS)를 사용한 보안 수집
왜 필요할까요?
원격 분석 데이터 수집이 Azure를 넘어 엣지에 가까워지면서 보안 기대치가 높아집니다. 많은 환경에서 일반 TCP 수집은 더 이상 충분하지 않습니다.
팀은 종종 다음을 필요로 합니다:
- 기본적으로 암호화된 수집 경로
- 데이터 전송 허용 대상에 대한 강력한 보장
- 기존 PKI 및 인증서 관리 시스템과 통합하는 방법
규제 대상이거나 보안에 민감한 환경에서는 수집 경계에서의 보안 인증이 선택 사항이 아닌 기본 요구 사항입니다.
이 기능은 어떤 작업을 수행할까요?
Azure Monitor 파이프라인은 이제 공개 미리 보기로 TCP 기반 수집 엔드포인트에 대해 TLS 및 상호 TLS(mTLS)를 지원합니다.
이 지원을 통해 다음 작업을 수행할 수 있습니다:
- TLS를 사용하여 전송 중 데이터 암호화
- mTLS를 사용하여 상호 인증을 활성화하여 클라이언트와 파이프라인 엔드포인트 모두 서로를 검증할 수 있도록 합니다.
- 사용자 고유의 인증서 사용
- 데이터가 수락되기 전 수집 시점에 보안 요구 사항 적용
이를 통해 외부 프록시나 사용자 지정 게이트웨이에 의존하지 않고 네트워크 장치, 어플라이언스 및 온프레미스 워크로드에서 데이터를 안전하게 수집하는 것이 더 쉬워집니다. 자세히 알아보기.
Azure Monitor 파이프라인의 Pod 배치 제어
왜 필요할까요?
Azure Monitor 파이프라인이 Kubernetes 환경에서 확장됨에 따라 기본 스케줄링 동작만으로는 종종 충분하지 않습니다.
많은 배포 환경에서 팀은 다음을 위해 더 많은 제어를 필요로 합니다:
- 다중 테넌트 클러스터에서 원격 분석 워크로드 격리
- 리소스 집약적인 처리를 위해 고용량 노드에서 파이프라인 실행
- 노드당 인스턴스 수를 제한하여 포트 소진 방지
- 데이터 상주 또는 보안 영역 요구 사항 적용
- 더 나은 복원력과 리소스 사용을 위해 가용성 영역에 인스턴스 분산
명시적인 배치 제어가 없으면 파이프라인 인스턴스가 최적화되지 않은 위치에서 실행되어 성능 및 운영 문제가 발생할 수 있습니다.
이 기능은 어떤 작업을 수행할까요?
새로운 executionPlacement 구성(공개 미리 보기)을 통해 Azure Monitor 파이프라인은 파이프라인 인스턴스가 어떻게 스케줄링되는지에 대한 직접적인 제어를 제공합니다.
이 기능을 사용하여 다음 작업을 수행할 수 있습니다:
- 레이블을 사용하여 특정 노드 대상으로 지정(예: 팀, 영역 또는 노드 기능별)
- 노드 간 인스턴스 배포 방식 제어
- 노드당 하나의 인스턴스만 허용하여 엄격한 격리 적용
- 다른 워크로드에 영향을 주지 않고 파이프라인 그룹당 배치 규칙 적용
이러한 규칙은 배포 시점에 유효성을 검사하고 적용됩니다. 클러스터가 배치 요구 사항을 충족할 수 없는 경우 파이프라인이 배포되지 않아 실패를 명확하고 예측 가능하게 만듭니다.
이를 통해 확장 시 성능, 격리 및 클러스터 활용에 대한 더 나은 제어를 얻을 수 있습니다. 자세히 알아보기.
변환 및 자동화된 스키마 표준화
왜 필요할까요?
원격 분석 데이터는 종종 대량이고, 노이즈가 많으며, 소스마다 일관성이 없습니다. 많은 배포 환경에서 모든 것을 있는 그대로 수집하고 나중에 정리하는 것은 실용적이지 않거나 비용 효율적이지 않습니다.
다음과 같은 요구 사항이 증가하고 있습니다:
- 수집 전에 데이터 필터링 또는 축소
- 다양한 소스 간 형식 정규화
- 추가 처리 없이 데이터를 표준 테이블로 직접 라우팅
이 기능은 어떤 작업을 수행할까요?
이미 공개 미리 보기로 제공되는 Azure Monitor 파이프라인 데이터 변환 기능을 사용하면 데이터가 수집되기 전에 처리할 수 있습니다.
변환을 통해 다음 작업을 수행할 수 있습니다:
- 들어오는 데이터 필터링, 집계 또는 재구성
- 원시 Syslog 또는 CEF 메시지를 표준화된 스키마로 변환
- KQL 쿼리를 수동으로 작성하는 대신 샘플 KQL 템플릿을 선택하여 변환 수행
- 데이터를 내장된 Azure 테이블로 직접 라우팅
- 중요한 데이터는 유지하면서 수집 볼륨 감소
변환 미리 보기에 대한 최신 블로그를 확인하거나 여기서 자세히 알아볼 수 있습니다.
시작하기
이 모든 기능은 공개 미리 보기로 Azure Monitor 파이프라인의 일부로 오늘부터 제공됩니다.
이미 파이프라인을 사용하고 있다면, 보안 수집, Pod 배치, 변환 기능을 바로 실험해 볼 수 있습니다. 언제나 그렇듯이, 일반 공급을 향해 이러한 기능을 계속 개선해 나가는 과정에서 피드백을 환영합니다.