목록으로

Programming Notes

# [공개 미리 보기] FUSE를 통해 BlobNFS 처리량 및 확장성 가속화하여 뛰어난 성능 제공

Azure Blob Storage는 Blob REST API용 FUSE 기반 드라이버인 BlobFuse 를 사용하여 로컬 파일 시스템처럼 마운트하고 액세스할 수 있습니다. 고객은 AI/ML, HPC, 분석 및 백업 워크로드에 BlobFuse를 선택합니다. BlobFuse는...

Azure Blob Storage는 Blob REST API용 FUSE 기반 드라이버인 BlobFuse를 사용하여 로컬 파일 시스템처럼 마운트하고 액세스할 수 있습니다. 고객은 AI/ML, HPC, 분석 및 백업 워크로드에 BlobFuse를 선택합니다. BlobFuse는 Azure Entra ID를 통한 로컬 캐싱 및 보안 통합과 같은 이점과 함께 매우 높은 처리량을 제공합니다.

NFS 3.0 프로토콜 지원 또는 POSIX 규정 준수를 필요로 하는 고객을 위해 Azure Blob Storage는 NFSv3(일명 BlobNFS)도 기본적으로 지원합니다. 이를 통해 변경 없이 기존 애플리케이션을 통해 Azure Blob Storage에 액세스할 수 있습니다. BlobNFS는 Linux NFS 클라이언트와 Blob Storage의 NFS 엔드포인트에 대한 마운트 및 안정적인 연결을 간소화하는 AZNFS 마운트 도우미 패키지와 함께 액세스됩니다. BlobNFS는 Azure Entra ID 기반 인증이 NFS 3.0에서 아직 지원되지 않으므로 가상 네트워크를 통한 액세스만 지원합니다.

오늘, BlobFuse를 구동하는 동일한 libfuse3 라이브러리를 사용하여 성능과 확장성을 크게 향상시키는 BlobNFS용 AZNFS (3.0) 업데이트를 발표하게 되어 기쁩니다. 업데이트된 BlobNFS용 AZNFS는 훨씬 더 높은 처리량, 더 큰 파일 지원, 더 나은 메타데이터 성능을 제공하고 사용자 그룹 제한을 제거하여 까다로운 워크로드의 성능을 향상시킵니다.

  • 가상 머신 처리량 극대화: AZNFS는 이제 최대 256개의 TCP 연결(기본 NFS 클라이언트의 16개에서 증가)을 지원하여 처리량이 VM NIC 대역폭(가상 머신의 네트워크 인터페이스 카드의 최대 데이터 전송 속도) 또는 스토리지 계정 제한에 도달할 수 있도록 합니다. 이는 대규모 데이터 세트 작업에 대한 높은 처리량을 보장하여 HPC 워크로드에 도움이 됩니다. 또한 소수의 (4개 이하) 병렬 파일 읽기/쓰기 작업만으로도 더 큰 VM 크기에서도 VM NIC 대역폭을 완전히 포화시킬 수 있습니다.
  • 향상된 읽기/쓰기 속도: 업데이트된 AZNFS 클라이언트는 읽기 및 쓰기 시나리오에서 기본 NFS 클라이언트보다 성능이 뛰어납니다. 예를 들어, 단일 파일 읽기/쓰기 성능이 각각 5배 및 3배 향상되어 백업 파일을 쓰고 읽기 위한 높은 단일 파일 처리량이 필요한 대규모 데이터베이스 백업 작업에 유용할 수 있습니다. 자세한 성능 비교는 링크를 참조하십시오.
  • 사용자 그룹 제한 제거: 로컬 ID 서버가 있는 Linux NFS 클라이언트는 사용자의 최대 16개 그룹에 대한 액세스 권한을 전달할 수 있으므로 16개 이상의 그룹에 속한 사용자의 리소스 액세스를 제한합니다. 이 업데이트를 통해 FUSE가 권한 검사를 처리하여 16개 그룹 제한을 제거합니다.
  • 향상된 메타데이터 쿼리 성능: READDIR은 한 번의 호출로 더 많은 디렉터리 항목을 쿼리할 수 있습니다. Linux 클라이언트는 1MB로 제한되지만 업데이트된 AZNFS는 이제 최대 3MB까지 도달할 수 있습니다. 파일 수가 많은 고객은 대기 시간이 줄어들어 더 빠른 목록 작성 및 메타데이터 작업을 경험할 수 있습니다. 이는 처리할 하위 집합을 선택하기 전에 상당한 수의 파일에 대한 메타데이터를 읽는 경우가 많은 EDA(전자 설계 자동화) 및 HPC(고성능 컴퓨팅)와 같은 워크로드에 유용합니다.
  • 대용량 파일 크기 지원(최대 5TB): 새로운 릴리스는 순차적 쓰기 패턴에 대해 더 큰 파일 크기를 지원할 수 있습니다. AZNFS에서 가능한 더 큰 블록 크기로 인해 사용자는 최대 5TB 제한까지 더 큰 파일을 만들 수 있습니다. Linux 클라이언트를 사용하는 경우 최상의 조건에서 최대 파일 크기는 ~3TB로 제한되었습니다. 3TB가 넘는 시뮬레이션 및 검사점 데이터 파일을 생성하는 CAD 도구가 이 개선 사항의 이점을 누릴 수 있습니다.

다음 차트는 업데이트된 AZNFS와 기본 Linux 클라이언트 간의 성능을 비교합니다. 자세한 내용은 자세한 벤치마크를 참조하십시오.

[테스트 매개변수 - VM: Standard D96ds v5, 파일 크기: 100GB, Linux NFS는 nconnect =16, Linux 커널 5.x.x ; 사용된 테스트: DD 테스트]

참고: VM은 쓰기 처리량보다 더 높은 읽기 처리량을 지원합니다. 업데이트된 AZNFS의 경우 4개의 병렬 파일 읽기/쓰기 작업부터 시작하는 처리량은 VM NIC 대역폭에 의해 제한되거나 더 높게 확장될 수 있습니다.

 

![image](본문에서 삭제됨) ![image](본문에서 삭제됨)

 

시작하기

양식을 사용하여 미리 보기에 등록하십시오.

AZNFS의 최신 버전을 설치하고 사용하는 방법에 대한 지침 링크를 참조하십시오. 문의 사항이나 피드백이 있으시면 [email protected]으로 문의하십시오.

 

참조:

BlobFuse란 무엇입니까? - BlobFuse2 - Azure Storage | Microsoft Learn

Azure Blob Storage에 대한 NFS(Network File System) 3.0 프로토콜 지원

Linux에서 NFS(Network File System) 3.0 프로토콜을 사용하여 Blob Storage 마운트

AZNFS의 최신 버전을 설치하고 사용하는 방법에 대한 지침 · Azure/AZNFS-mount Wiki