O que são fluxos de dados no Azure Synapse Analytics?

Os fluxos de dados são transformações de dados visualmente projetadas no Azure Synapse Analytics. Os fluxos de dados permitem que os engenheiros de dados desenvolvam lógica de transformação de dados sem escrever código. Os fluxos de dados resultantes são executados como atividades dentro dos pipelines do Azure Synapse Analytics que usam clusters Apache Spark escalonados. As atividades de fluxo de dados podem ser operacionalizadas usando os recursos existentes de agendamento, controle, fluxo e monitoramento do Azure Synapse Analytics.

Os fluxos de dados fornecem uma experiência totalmente visual, sem necessidade de codificação. Seus fluxos de dados são executados em clusters de execução gerenciados pelo Synapse para processamento de dados escalonado. O Azure Synapse Analytics lida com toda a tradução de código, otimização de caminho e execução de seus trabalhos de fluxo de dados.

Começar agora

Os fluxos de dados são criados a partir do painel Desenvolver no estúdio Synapse. Para criar um fluxo de dados, selecione o sinal de adição ao lado de Desenvolver e, em seguida, selecione Fluxo de Dados.

Essa ação leva você para a tela de fluxo de dados, onde você pode criar sua lógica de transformação. Selecione Adicionar fonte para começar a configurar sua transformação de origem. Para obter mais informações, consulte Transformação de origem.

Criação de fluxos de dados

O fluxo de dados tem uma tela de criação exclusiva projetada para facilitar a lógica de transformação da construção. A tela de fluxo de dados é separada em três partes: a barra superior, o gráfico e o painel de configuração.

Gráfico

O gráfico exibe o fluxo de transformação. Ele mostra a linhagem de dados de origem à medida que flui para um ou mais coletores. Para adicionar uma nova fonte, selecione Adicionar fonte. Para adicionar uma nova transformação, selecione o sinal de adição no canto inferior direito de uma transformação existente. Saiba mais sobre como gerenciar o gráfico de fluxo de dados.

Painel de configuração

O painel de configuração mostra as configurações específicas para a transformação selecionada no momento. Se nenhuma transformação for selecionada, ela mostrará o fluxo de dados. Na configuração geral do fluxo de dados, você pode adicionar parâmetros por meio da guia Parâmetros . Para obter mais informações, consulte Parâmetros de fluxo de dados.

Cada transformação contém pelo menos quatro guias de configuração.

Configurações de transformação

A primeira guia no painel de configuração de cada transformação contém as configurações específicas dessa transformação. Para obter mais informações, consulte a página de documentação dessa transformação.

Otimização

A guia Otimizar contém configurações para configurar esquemas de particionamento. Para saber mais sobre como otimizar seus fluxos de dados, consulte o guia de desempenho do fluxo de dados de mapeamento.

Inspecionar

A guia Inspecionar fornece uma exibição dos metadados do fluxo de dados que você está transformando. Você pode ver as contagens de colunas, as colunas alteradas, as colunas adicionadas, os tipos de dados, a ordem das colunas e as referências de coluna. Inspecionar é uma exibição somente leitura de seus metadados. Não é necessário ter o modo de depuração ativado para ver os metadados no painel Inspecionar .

À medida que você altera a forma dos dados por meio de transformações, você vê o fluxo de alterações de metadados no painel Inspecionar . Se não houver um esquema definido na transformação de origem, os metadados não estarão visíveis no painel Inspecionar . A falta de metadados é comum em cenários de desvio de esquema.

Pré-visualização de dados

Se o modo de depuração estiver ativado, a guia Visualização de dados fornecerá um instantâneo interativo dos dados em cada transformação. Para obter mais informações, consulte Visualização de dados no modo de depuração.

Barra superior

A barra superior contém ações que afetam todo o fluxo de dados, como configurações de validação e depuração. Você também pode visualizar o código JSON subjacente e o script de fluxo de dados da sua lógica de transformação.

Transformações disponíveis

Veja a visão geral da transformação do fluxo de dados de mapeamento para obter uma lista das transformações disponíveis.

Atividade de fluxo de dados

Os fluxos de dados são operacionalizados nos pipelines do Azure Synapse Analytics usando a atividade de fluxo de dados. Tudo o que um usuário precisa fazer é especificar qual tempo de execução de integração usar e passar valores de parâmetro. Para obter mais informações, saiba mais sobre o tempo de execução de integração do Azure.

Modo de depuração

O modo de depuração permite que você veja interativamente os resultados de cada etapa de transformação enquanto cria e depura seus fluxos de dados. A sessão de depuração pode ser usada tanto na criação da lógica de fluxo de dados quanto na execução da depuração de pipeline com atividades de fluxo de dados. Para saber mais, consulte a documentação do modo de depuração.

Monitorizar fluxos de dados

O fluxo de dados integra-se com os recursos de monitoramento existentes do Azure Synapse Analytics. Para saber como entender a saída de monitoramento de fluxo de dados, consulte Monitoramento de fluxos de dados de mapeamento.

A equipe do Azure Synapse Analytics criou um guia de ajuste de desempenho para ajudá-lo a otimizar o tempo de execução de seus fluxos de dados depois de criar sua lógica de negócios.

Conteúdos relacionados

• Saiba como criar uma transformação de origem.
• Saiba como criar seus fluxos de dados no modo de depuração.