Obter os dados do arquivo
A ingestão de dados é o processo usado para carregar dados de uma ou mais fontes em uma tabela no Azure Data Explorer. Depois de ingeridos, os dados ficam disponíveis para consulta. Neste artigo, você aprenderá como obter dados de um arquivo local em uma tabela nova ou existente.
Para obter informações gerais sobre a ingestão de dados, consulte Visão geral da ingestão de dados do Azure Data Explorer.
Pré-requisitos
- Uma conta Microsoft ou uma identidade de usuário do Microsoft Entra. Uma assinatura do Azure não é necessária.
- Entre na interface do usuário da Web do Azure Data Explorer.
- Um cluster e um banco de dados do Azure Data Explorer. Criar um cluster e um banco de dados.
Obter dados
No menu à esquerda, selecione Consulta.
Clique com o botão direito do mouse no banco de dados em que deseja ingerir os dados. Selecione Obter dados.
Origem
Na janela Obter dados, a guia Origem será selecionada.
Selecione a fonte de dados na lista disponível. Neste exemplo, você está ingerindo dados de um arquivo Local.
Observação
A ingestão dá suporte para um tamanho do arquivo máximo de 6 GB. A recomendação é ingerir arquivos entre 100 MB e 1 GB.
Configurar
Selecione um banco de dados e uma tabela de destino. Se você quiser ingerir dados em uma nova tabela, selecione + Nova tabela e insira o nome de uma tabela.
Observação
Os nomes de tabelas podem ter até 1024 caracteres, incluindo espaços, caracteres alfanuméricos, hifens e sublinhados. Não há suporte para caracteres especiais.
Arraste os arquivos para a janela ou selecione Procurar arquivos.
Observação
Você pode adicionar até 1.000 arquivos. Cada arquivo pode ter no máximo 1 GB descompactado.
Selecione Avançar.
Inspecionar
A guia Inspecionar será aberta com uma visualização dos dados.
Para concluir o processo de ingestão, selecione Concluir.
Se desejar:
- Selecione Visualizador de comando para ver e copiar os comandos automáticos gerados com base nas entradas.
- Use a lista suspensa Arquivo de definição de esquema para alterar o arquivo do qual o esquema foi inferido.
- Altere o formato de dados inferido automaticamente selecionando o formato desejado na lista suspensa. Consulte Formatos de dados compatíveis com o Azure Data Explorer para ingestão.
- Editar colunas.
- Explore Opções avançadas com base no tipo de dados.
Editar colunas
Observação
- Para formatos tabulares (CSV, TSV, PSV), você não pode mapear uma coluna duas vezes. Para mapear para uma coluna existente, primeiro exclua a nova coluna.
- Não é possível alterar um tipo de coluna existente. Se você tentar mapear para uma coluna com um formato diferente, poderá ficar com colunas vazias.
As alterações que você pode fazer em uma tabela dependem dos seguintes parâmetros:
- O tipo de tabela é novo ou existente
- O tipo de mapeamento é novo ou existente
| Tipo de tabela | Tipo de mapeamento | Ajustes disponíveis |
|---|---|---|
| Nova tabela | Novo mapeamento | Renomear coluna, alterar tipo de dados, alterar fonte de dados, transformação de mapeamento, adicionar coluna, excluir coluna |
| Tabela existente | Novo mapeamento | Adicionar coluna (na qual você pode alterar o tipo de dados, renomear e atualizar) |
| Tabela existente | Mapeamento existente | nenhum |
Transformações de mapeamento
Alguns mapeamentos de formato de dados (Parquet, JSON e Avro) dão suporte a transformações de tempo de ingestão simples. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela Editar colunas.
As transformações de mapeamento podem ser executadas em uma coluna de cadeia de caracteres de tipo ou de datetime, com o tipo de dados int ou long selecionado em Origem. As transformações de mapeamento com suporte são:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
Opções avançadas com base no tipo de dados
Tabular (CSV, TSV, PSV):
Se você estiver assimilando formatos tabulares em uma tabela existente, poderá selecionar Manter esquema de tabela atual avançado>. Os dados tabulares não incluem necessariamente os nomes de coluna usados para mapear os dados de origem para as colunas existentes. Quando essa opção é marcada, o mapeamento é feito por ordem, e o esquema da tabela permanece o mesmo. Se essa opção estiver desmarcada, novas colunas serão criadas para os dados de entrada, independentemente da estrutura de dados.
Para usar a primeira linha como nomes de coluna, selecione Avançado>A primeira linha é o cabeçalho da coluna.
JSON:
Para determinar a divisão de coluna dos dados JSON, selecione Avançado>Níveis aninhados, de 1 a 100.
Se você selecionar Ignorar erros de formato de dados avançados>, os dados serão assimilados no formato JSON. Se você deixar essa caixa de seleção desmarcada, os dados serão ingeridos no formato multijson.
Resumo
Na janela Preparação de dados, todas as três etapas serão assinaladas com marcas de seleção verdes quando a ingestão de dados for concluída com sucesso. Você pode exibir os comandos que foram usados para cada etapa ou selecionar um cartão para consultar, visualizar ou descartar os dados ingeridos.
