Formato Avro no Data Factory no Microsoft Fabric
Este artigo descreve como configurar o formato Avro no pipeline de dados do Data Factory no Microsoft Fabric.
Capacidades suportadas
O formato Avro é suportado para as seguintes atividades e conectores como origem e destino.
| Categoria | Conector/Atividade |
|---|---|
| Conector suportado | Amazon S3 |
| Compatível com Amazon S3 | |
| Armazenamento de Blobs do Azure | |
| Armazenamento do Azure Data Lake Ger1 | |
| Azure Data Lake Storage Gen2 (Armazenamento do Azure Data Lake Gen2) | |
| Ficheiros do Azure | |
| Sistema de ficheiros | |
| FTP | |
| Google Cloud Storage | |
| HTTP | |
| Arquivos Lakehouse | |
| Armazenamento em nuvem Oracle | |
| SFTP | |
| Atividade apoiada | Atividade de cópia (origem/destino) |
| Atividade de Pesquisa | |
| Atividade GetMetadata | |
| Excluir atividade |
Formato Avro na atividade de cópia
Para configurar o formato Avro, escolha sua conexão na origem ou no destino da atividade de cópia do pipeline de dados e selecione Avro na lista suspensa de Formato de arquivo. Selecione Configurações para configuração adicional deste formato.
Formato Avro como fonte
Depois de selecionar Configurações na seção Formato de arquivo , as seguintes propriedades são mostradas na caixa de diálogo pop-up Configurações de formato de arquivo.
Tipo de compressão: Escolha o codec de compressão usado para ler arquivos Avro na lista suspensa. Você pode escolher entre Nenhum ou esvaziar. Você também pode escolher Adicionar conteúdo dinâmico para especificar o tipo no construtor de expressões.
Nível de compressão: especifique a taxa de compressão. Escolha de 1 a 7. Você também pode escolher Adicionar conteúdo dinâmico para especificar o nível no construtor de expressões.
Formato Avro como destino
Depois de selecionar Configurações, as seguintes propriedades são mostradas na caixa de diálogo pop-up Configurações de formato de arquivo.
Tipo de compactação: Escolha o codec de compactação usado para gravar arquivos Avro na lista suspensa. Você pode escolher entre Nenhum ou esvaziar. Você também pode escolher Adicionar conteúdo dinâmico para especificar o tipo no construtor de expressões.
Nível de compressão: especifique a taxa de compressão. Escolha de 1 a 7. Você também pode escolher Adicionar conteúdo dinâmico para especificar o nível no construtor de expressões.
Em Configurações avançadas na guia Destino , as seguintes propriedades relacionadas ao formato Avro são exibidas.
- Máximo de linhas por arquivo: Ao gravar dados em uma pasta, você pode optar por gravar em vários arquivos e especificar o máximo de linhas por arquivo.
- Prefixo do nome do arquivo: Aplicável quando o máximo de linhas por arquivo é configurado. Especifique o prefixo do nome do arquivo ao gravar dados em vários arquivos, resultando neste padrão:
<fileNamePrefix>_00000.<fileExtension>. Se não for especificado, o prefixo do nome do arquivo será gerado automaticamente. Essa propriedade não se aplica quando a origem é um armazenamento baseado em arquivo ou um armazenamento de dados habilitado para opção de partição.
Resumo da tabela
Avro como fonte
As propriedades a seguir são suportadas na seção Fonte da atividade de cópia ao usar o formato Avro.
| Nome | Descrição | valor | Necessário | Propriedade de script Avro |
|---|---|---|---|---|
| Formato do ficheiro | O formato de ficheiro que pretende utilizar. | Avro | Sim | tipo (em datasetSettings):Avro |
| Tipo de compressão | O codec de compressão usado para ler arquivos Avro. | Nenhuma deflacionar |
Não | avroCompressionCodec: deflacionar |
| Nível de compressão | A taxa de compressão. | 1 a 7 anos | Não | avroCompressionLevel: 1 a 7 anos |
Avro como destino
As propriedades a seguir são suportadas na seção Destino da atividade de cópia ao usar o formato Avro.
| Nome | Descrição | valor | Necessário | Propriedade de script Avro |
|---|---|---|---|---|
| Formato do ficheiro | O formato de ficheiro que pretende utilizar. | Avro | Sim | tipo (em datasetSettings):Avro |
| Tipo de compressão | O codec de compressão usado para escrever arquivos Avro. | Nenhuma deflacionar |
Não | avroCompressionCodec: deflacionar |
| Nível de compressão | A taxa de compressão. | 1 a 7 anos | Não | avroCompressionLevel: 1 a 7 anos |
| Máximo de linhas por ficheiro | Ao gravar dados em uma pasta, você pode optar por gravar em vários arquivos e especificar o máximo de linhas por arquivo. | < o máximo de linhas por ficheiro > | Não | maxRowsPerFile |
| Prefixo do nome do arquivo | Aplicável quando o máximo de linhas por arquivo é configurado. Especifique o prefixo do nome do arquivo ao gravar dados em vários arquivos, resultando neste padrão: <fileNamePrefix>_00000.<fileExtension>. Se não for especificado, o prefixo do nome do arquivo será gerado automaticamente. Essa propriedade não se aplica quando a origem é um armazenamento baseado em arquivo ou um armazenamento de dados habilitado para opção de partição. |
< seu prefixo de nome de arquivo > | Não | fileNamePrefix |