클라우드 스토리지로 데이터 내보내기

적용 대상: ✅Microsoft Fabric✅Azure Data Explorer

쿼리를 실행하고 스토리지 연결 문자열 지정된 외부 클라우드 스토리지에 첫 번째 결과 집합을 씁니다.

사용 권한

이 명령을 실행하려면 데이터베이스 뷰어 이상의 권한이 있어야 합니다.

구문

.export[async] [compressed] toOutputDataFormat(StorageConnectionString [, ...] ) [with(PropertyName=PropertyValue [, ...] ] )<|쿼리

구문 규칙에 대해 자세히 알아봅니다.

매개 변수

지원되는 속성

인증 및 권한 부여

인증 방법은 제공된 연결 문자열 기반으로 하며 필요한 권한은 인증 방법에 따라 달라집니다.

다음 표에는 지원되는 인증 방법 및 스토리지 유형별로 데이터를 외부 스토리지로 내보내는 데 필요한 권한이 나와 있습니다.

반품

이 명령은 생성된 스토리지 아티팩트를 설명하는 테이블을 반환합니다. 각 레코드는 단일 아티팩트를 설명하고 아티팩트 스토리지 경로와 아티팩트가 보유하는 레코드 수를 포함합니다.

비동기 모드

플래그를 async 지정하면 명령이 비동기 모드로 실행됩니다. 이 모드에서는 명령이 작업 ID를 사용하여 즉시 반환되고 데이터 내보내기가 완료될 때까지 백그라운드에서 계속됩니다. 명령에서 반환된 작업 ID를 사용하여 다음 명령을 통해 진행률 및 궁극적으로 결과를 추적할 수 있습니다.

• .show operations: 진행률을 추적합니다.
• .show operation details: 완료 결과를 가져옵니다.

예를 들어 성공적으로 완료된 후 다음을 사용하여 결과를 검색할 수 있습니다.

.show operation f008dc1e-2710-47d8-8d34-0d562f5f8615 details

예제

이 예제에서 Kusto는 쿼리를 실행한 다음 쿼리에서 생성된 첫 번째 레코드 집합을 압축하기 전에 최대 1GB의 하나 이상의 압축된 CSV Blob으로 내보냅니다. 열 이름 레이블은 각 Blob에 대한 첫 번째 행으로 추가됩니다.

.export
  async compressed
  to csv (
    h@"https://storage1.blob.core.windows.net/containerName;secretKey",
    h@"https://storage1.blob.core.windows.net/containerName2;secretKey"
  ) with (
    sizeLimit=1000000000,
    namePrefix="export",
    includeHeaders="all",
    encoding="UTF8NoBOM"
  )
  <| 
  Logs | where id == "1234" 

내보내기 명령 중 오류

내보내기 명령은 실행 중에 일시적으로 실패할 수 있습니다. 연속 내보내기 명령을 자동으로 다시 시도합니다. 일반 내보내기 명령(스토리지로 내보내기, 외부 테이블로 내보내기)은 재시도를 수행하지 않습니다.

• 내보내기 명령이 실패하면 스토리지에 이미 기록된 아티팩트가 삭제되지 않습니다. 이러한 아티팩트가 스토리지에 남아 있습니다. 명령이 실패하면 일부 아티팩트가 기록된 경우에도 내보내기가 완료되지 않은 것으로 가정합니다.
• 명령의 완료와 성공적으로 완료될 때 내보낸 아티팩트 모두를 추적하는 가장 좋은 방법은 명령 및 .show operations 명령을 사용하는 .show operation details 것입니다.

스토리지 오류

기본적으로 내보내기 명령은 스토리지에 대한 많은 동시 쓰기가 있을 수 있도록 배포됩니다. 배포 수준은 내보내기 명령의 유형에 따라 달라집니다.

• 일반 .export 명령에 대한 기본 분포는 per_shard쓰기를 스토리지로 동시에 내보낼 데이터를 포함하는 모든 익스텐트입니다.

• 외부 테이블 명령으로 내보내기의 기본 분포는 per_node동시성이 노드 수임을 의미합니다.

익스텐트/노드 수가 많으면 스토리지에 대한 부하가 높아 스토리지 제한 또는 일시적인 스토리지 오류가 발생할 수 있습니다. 다음 제안에서는 이러한 오류를 우선 순위에 따라 해결할 수 있습니다.

• 내보내기 명령 또는 외부 테이블 정의제공된 스토리지 계정 수를 늘입니다. 로드는 계정 간에 균등하게 분산됩니다.

• 배포 힌트 per_node 를 설정하여 동시성을 줄입니다(명령 속성 참조).

• 클라이언트 요청 속성을query_fanout_nodes_percent하여 내보내는 노드 수의 동시성을 줄입니다. 내보내기 쿼리의 일부로 속성을 설정할 수 있습니다. 예를 들어 다음 명령은 스토리지에 동시에 쓰는 노드 수를 노드의 50%로 제한합니다.

  .export async  to csv
      ( h@"https://storage1.blob.core.windows.net/containerName;secretKey" ) 
      with
      (
          distribution="per_node"
      ) 
      <| 
      set query_fanout_nodes_percent = 50;
      ExportQuery
  

• 클라이언트 요청 속성을query_fanout_threads_percent하여 분할된 데이터베이스 내보내기를 사용할 때 각 노드에서 내보내는 스레드 수의 동시성을 줄입니다. 내보내기 쿼리의 일부로 속성을 설정할 수 있습니다. 예를 들어 다음 명령은 각 노드에서 동시에 스토리지에 쓰는 스레드 수를 50%로 제한합니다.

  .export async  to csv
      ( h@"https://storage1.blob.core.windows.net/containerName;secretKey" ) 
      with
      (
          distribution="per_shard"
      ) 
      <| 
      set query_fanout_threads_percent = 50;
      ExportQuery
  

• 분할된 외부 테이블로 내보내는 경우 속성을 설정 spread/concurrency 하면 동시성을 줄일 수 있습니다(명령 속성의 세부 정보 참조).

• 이전 권장 사항 중 어느 것도 작동하지 않으면 distributed 속성을 false로 설정하여 배포를 완전히 사용하지 않도록 설정할 수 있습니다. 그러나 명령 성능에 큰 영향을 줄 수 있으므로 그렇게 하지 않는 것이 좋습니다.

권한 부여 실패

내보내기 명령 중 인증 또는 권한 부여 실패는 스토리지 연결 문자열 제공된 자격 증명이 스토리지에 쓸 수 없는 경우에 발생할 수 있습니다. 내보내기 명령에 대해 사용자가 위임한 SAS 토큰을 사용하거나 사용하는 impersonate 경우 스토리지 계정에 쓰기 위해 Storage Blob 데이터 기여자 역할이 필요합니다. 자세한 내용은 Storage 연결 문자열 참조하세요.

데이터 형식의 매핑

Parquet 데이터 형식 매핑

내보내기에서 Kusto 데이터 형식은 다음 규칙을 사용하여 Parquet 데이터 형식에 매핑됩니다.

관련 콘텐츠

• 연속 데이터 내보내기
• 스토리지 수집
• 관리 명령 개요
• 외부 테이블로 내보내기
• SQL 테이블로 내보내기