Exportar dados para armazenamento em nuvem

Aplica-se a: ✅Microsoft Fabric✅Azure Data Explorer

Executa uma consulta e grava o primeiro conjunto de resultados em um armazenamento de nuvem externo, especificado por uma cadeia de conexão de armazenamento .

Permissões

Você deve ter pelo menos Visualizador de Banco de Dados permissões para executar esse comando.

Sintaxe

.export [async] [compressed] toOutputDataFormat(StorageConnectionString [, ...] ) [with(PropertyName=PropertyValue [, ...] )] <|Query

Saiba mais sobre convenções de sintaxe.

Parâmetros

Propriedades suportadas

Autenticação e autorização

O método de autenticação é baseado na cadeia de conexão fornecida e as permissões necessárias variam dependendo do método de autenticação.

A tabela a seguir lista os métodos de autenticação suportados e as permissões necessárias para exportar dados para armazenamento externo por tipo de armazenamento.

Devoluções

Os comandos retornam uma tabela que descreve os artefatos de armazenamento gerados. Cada registro descreve um único artefato e inclui o caminho de armazenamento para o artefato e quantos registros ele retém.

Modo assíncrono

Se o sinalizador async for especificado, o comando será executado no modo assíncrono. Nesse modo, o comando retorna imediatamente com um ID de operação e a exportação de dados continua em segundo plano até a conclusão. O ID da operação retornado pelo comando pode ser usado para acompanhar seu progresso e, finalmente, seus resultados através dos seguintes comandos:

• .show operations: Acompanhe o progresso.
• .show operation details: Obter resultados de conclusão.

Por exemplo, após uma conclusão bem-sucedida, você pode recuperar os resultados usando:

.show operation f008dc1e-2710-47d8-8d34-0d562f5f8615 details

Exemplos

Neste exemplo, Kusto executa a consulta e, em seguida, exporta o primeiro conjunto de registros produzido pela consulta para um ou mais blobs CSV compactados, até 1 GB antes da compactação. Os rótulos de nome de coluna são adicionados como a primeira linha para cada blob.

.export
  async compressed
  to csv (
    h@"https://storage1.blob.core.windows.net/containerName;secretKey",
    h@"https://storage1.blob.core.windows.net/containerName2;secretKey"
  ) with (
    sizeLimit=1000000000,
    namePrefix="export",
    includeHeaders="all",
    encoding="UTF8NoBOM"
  )
  <| 
  Logs | where id == "1234" 

Falhas durante os comandos de exportação

Os comandos de exportação podem falhar transitoriamente durante a execução. de exportação contínua tenta novamente automaticamente o comando. Os comandos de exportação regulares (exportar parade armazenamento exportar para tabela externa) não executam nenhuma tentativa.

• Quando o comando export falha, os artefatos que já foram gravados no armazenamento não são excluídos. Esses artefatos permanecem armazenados. Se o comando falhar, suponha que a exportação esteja incompleta, mesmo que alguns artefatos tenham sido escritos.
• A melhor maneira de rastrear a conclusão do comando e os artefatos exportados após a conclusão bem-sucedida é usando os comandos .show operations e .show operation details.

Falhas de armazenamento

Por padrão, os comandos de exportação são distribuídos de tal forma que pode haver muitas gravações simultâneas no armazenamento. O nível de distribuição depende do tipo de comando de exportação:

• A distribuição padrão para o comando regular .export é per_shard, o que significa todas as extensões que contêm dados para exportar gravação para armazenamento simultaneamente.

• A distribuição padrão para exportar para comandos de de tabela externa é per_node, o que significa que a simultaneidade é o número de nós.

Quando o número de extensões/nós é grande, isso pode levar a uma alta carga no armazenamento que resulta em limitação de armazenamento ou erros de armazenamento transitórios. As sugestões a seguir podem superar esses erros (por ordem de prioridade):

• Aumente o número de contas de armazenamento fornecidas ao comando export ou à definição de tabela externa . A carga é distribuída uniformemente entre as contas.

• Reduza a simultaneidade definindo a dica de distribuição como per_node (consulte as propriedades do comando).

• Reduza a simultaneidade do número de nós exportados definindo a propriedade de solicitação do cliente query_fanout_nodes_percent para a simultaneidade desejada (porcentagem de nós). A propriedade pode ser definida como parte da consulta de exportação. Por exemplo, o comando a seguir limita o número de nós gravando no armazenamento simultaneamente a 50% dos nós:

  .export async  to csv
      ( h@"https://storage1.blob.core.windows.net/containerName;secretKey" ) 
      with
      (
          distribution="per_node"
      ) 
      <| 
      set query_fanout_nodes_percent = 50;
      ExportQuery
  

• Reduza a simultaneidade do número de threads exportados em cada nó ao usar a exportação por estilhaço, definindo a propriedade de solicitação de cliente query_fanout_threads_percent para a simultaneidade desejada (porcentagem de threads). A propriedade pode ser definida como parte da consulta de exportação. Por exemplo, o comando a seguir limita o número de threads gravando no armazenamento simultaneamente a 50% em cada um dos nós:

  .export async  to csv
      ( h@"https://storage1.blob.core.windows.net/containerName;secretKey" ) 
      with
      (
          distribution="per_shard"
      ) 
      <| 
      set query_fanout_threads_percent = 50;
      ExportQuery
  

• Se exportar para uma tabela externa particionada, definir as propriedades spread/concurrency pode reduzir a simultaneidade (consulte os detalhes no comando propriedades.

• Se nenhuma das recomendações anteriores funcionar, você poderá desabilitar completamente a distribuição definindo a propriedade distributed como false. No entanto, não recomendamos fazer isso, pois isso pode afetar significativamente o desempenho do comando.

Falhas de autorização

Falhas de autenticação ou autorização durante os comandos de exportação podem ocorrer quando as credenciais fornecidas na cadeia de conexão de armazenamento não têm permissão para gravar no armazenamento. Se você estiver usando ou um token SAS delegado pelo usuário para o comando export, a função de Colaborador de Dados de Blob de Armazenamento será necessária para gravar na conta de armazenamento. Para obter mais informações, consulte cadeias de conexão de armazenamento.

Mapeamento de tipos de dados

Mapeamento de tipos de dados Parquet

Na exportação, os tipos de dados Kusto são mapeados para tipos de dados do Parquet usando as seguintes regras:

Conteúdo relacionado

• Exportação contínua de dados
• Ingerir a partir do armazenamento
• Visão geral dos comandos de gerenciamento de
• Exportar para uma tabela externa
• Exportar para uma tabela SQL