Compartilhar via

Formatos de dados compatíveis com a Inteligência em Tempo Real

  • Artigo

A ingestão de dados é o processo pelo qual os dados são adicionados a uma tabela e disponibilizados para consulta na Inteligência em Tempo Real. Para todos os métodos de ingestão diferentes da ingestão de consulta, os dados precisam estar em um dos formatos compatíveis. A tabela a seguir lista e descreve os formatos compatíveis com a Inteligência em Tempo Real para a ingestão de dados.

Observação

Antes de ingerir dados, verifique se os dados estão formatados corretamente e definem os campos esperados. Recomendamos usar seu validador preferido para confirmar se o formato é válido. Por exemplo, os seguintes validadores podem ser úteis para verificar arquivos CSV ou JSON:

Para obter mais informações sobre por que a ingestão pode falhar, confira Falhas de ingestão.

Formatar Extensão Descrição
ApacheAvro .avro Um formato AVRO com suporte para tipos lógicos. Há suporte para os seguintes codecs de compactação: null, deflate e snappy. A implementação de leitor do formato apacheavro é baseada na apacheavro. Para obter informações sobre como ingerir arquivos Avro de Captura dos Hubs de Eventos, confira Mapeamento de esquema para arquivos Avro de Captura dos Hubs de Eventos.
Avro .avro Uma implementação herdada para o formato AVRO com base na biblioteca .NET. Há suporte para os seguintes codecs de compactação: null, deflate (para snappy, use o formato de dados ApacheAvro).
CSV .csv Um arquivo de texto com valores separados por vírgulas (,). Confira RFC 4180: Formato comum e tipo MIME para arquivos CSV (valores separados por vírgula).
JSON .json Um arquivo de texto com objetos JSON delimitados por \n ou \r\n. Confira JSONL (Linhas JSON).
MultiJSON .multijson Um arquivo de texto com uma matriz JSON de recipientes de propriedades (cada um representando um registro) ou qualquer número de recipientes de propriedades delimitados por espaço em branco, \n ou \r\n. Cada recipiente de propriedades pode ser distribuído em várias linhas. Este formato é preferido em relação ao JSON, a menos que os dados sejam nonproperty bags.
ORC .orc Um arquivo ORC.
Parquet .parquet Um arquivo Parquet.
PSV .psv Um arquivo de texto com valores separados por pipe (|).
RAW .raw Um arquivo de texto cujo conteúdo inteiro é um valor de cadeia de caracteres único.
SCsv .scsv Um arquivo de texto com valores separados por ponto e vírgula (;).
SOHsv .sohsv Um arquivo de texto com valores separados por SOH. (SOH é o ponto de código ASCII 1; esse formato é usado pelo Hive no HDInsight.)
TSV .tsv Um arquivo de texto com valores separados por tabulações (\t).
TSVE .tsv Um arquivo de texto com valores separados por tabulações (\t). Um caractere de barra invertida (\) é usado para escapar.
TXT .txt Um arquivo de texto com linhas delimitadas por \n. Linhas vazias são ignoradas.
W3CLOGFILE .log Formato de arquivo de log da Web padronizado pelo W3C.

Observação

  • Não há suporte para a ingestão de dados de sistemas de armazenamento de dados que fornecem a funcionalidade ACID em cima de arquivos de formato Parquet regulares (por exemplo, Apache Iceberg, Apache Hudi).
  • Não há suporte para Avro sem esquema

Formatos de compactação de dados compatíveis

Os blobs e os arquivos podem ser compactados por meio de um dos seguintes algoritmos de compactação:

Compactação Extensão
GZip .gz
Zip .zip

Indique a compactação acrescentando a extensão ao nome do blob ou do arquivo.

Por exemplo:

  • MyData.csv.zip indica um blob ou um arquivo formatado como CSV e compactado com ZIP (arquivo morto ou arquivo individual)
  • MyData.json.gz indica um blob ou um arquivo formatado como JSON e compactado com GZip.

Também há suporte para nomes de blobs ou arquivos que não incluem as extensões de formato, mas apenas a compactação (por exemplo, MyData.zip). Nesse caso, o formato do arquivo deve ser especificado como uma propriedade de ingestão porque não pode ser ingerido.

Observação

  • Alguns formatos de compactação controlam a extensão do arquivo original como parte do fluxo compactado. Essa extensão é geralmente ignorada para determinar o formato do arquivo. Se o formato do arquivo não puder ser determinado com base no nome do arquivo ou blob (compactado), ele deverá ser especificado por meio da propriedade de ingestão format.
  • Não deve ser confundido com o codec de compactação interna (nível de parte) usado pelos formatos Parquet, AVRO e ORC. O nome de compactação interna normalmente é adicionado a um nome de arquivo antes da extensão de formato de arquivo, por exemplo: file1.gz.parquet, file1.snappy.avro etc.

Conteúdo relacionado