Vad är dataflöden i Azure Synapse Analytics?
Dataflöden är visuellt utformade datatransformeringar i Azure Synapse Analytics. Med dataflöden kan datatekniker utveckla datatransformeringslogik utan att skriva kod. De resulterande dataflödena körs som aktiviteter i Azure Synapse Analytics-pipelines som använder utskalade Apache Spark-kluster. Dataflödesaktiviteter kan operationaliseras med hjälp av befintliga schemaläggnings-, kontroll-, flödes- och övervakningsfunktioner i Azure Synapse Analytics.
Dataflöden ger en helt visuell upplevelse utan att kodning krävs. Dina dataflöden körs i Synapse-hanterade körningskluster för utskalad databehandling. Azure Synapse Analytics hanterar all kodöversättning, sökvägsoptimering och körning av dina dataflödesjobb.
Kom igång
Dataflöden skapas från fönstret Utveckla i Synapse Studio. Om du vill skapa ett dataflöde väljer du plustecknet bredvid Utveckla och väljer sedan Dataflöde.
Den här åtgärden tar dig till dataflödesarbetsytan, där du kan skapa din omvandlingslogik. Välj Lägg till källa för att börja konfigurera källtransformeringen. Mer information finns i Källtransformering.
Redigera dataflöden
Dataflödet har en unik redigeringsarbetsyta som är utformad för att göra det enkelt att skapa transformeringslogik. Dataflödesarbetsytan är uppdelad i tre delar: det övre fältet, diagrammet och konfigurationspanelen.
Diagram
Diagrammet visar transformeringsströmmen. Den visar ursprunget för källdata när de flödar till en eller flera mottagare. Om du vill lägga till en ny källa väljer du Lägg till källa. Om du vill lägga till en ny transformering väljer du plustecknet längst ned till höger i en befintlig transformering. Läs mer om hur du hanterar dataflödesdiagrammet.
Konfigurationspanel
Konfigurationspanelen visar de inställningar som är specifika för den aktuella transformeringen. Om ingen transformering har valts visas dataflödet. I den övergripande dataflödeskonfigurationen kan du lägga till parametrar via fliken Parametrar . Mer information finns i Dataflödesparametrar.
Varje transformering innehåller minst fyra konfigurationsflikar.
Transformeringsinställningar
Den första fliken i konfigurationsfönstret för varje transformering innehåller de inställningar som är specifika för omvandlingen. Mer information finns på dokumentationssidan för omvandlingen.
Optimera
Fliken Optimera innehåller inställningar för att konfigurera partitioneringsscheman. Mer information om hur du optimerar dina dataflöden finns i prestandaguiden för dataflödesmappning.
Undersöka
Fliken Inspektera visar metadata för dataströmmen som du transformerar. Du kan se kolumnantal, ändrade kolumner, tillagda kolumner, datatyper, kolumnordning och kolumnreferenser. Granska är en skrivskyddad vy över dina metadata. Du behöver inte ha felsökningsläget aktiverat för att se metadata i fönstret Inspektera .
När du ändrar formen på dina data genom transformeringar ser du flödet för metadataändringar i fönstret Inspektera . Om det inte finns något definierat schema i källtransformeringen visas inte metadata i fönstret Inspektera . Brist på metadata är vanligt i scenarier med schemaavvikelser.
Förhandsgranskning av data
Om felsökningsläget är aktiverat ger fliken Förhandsgranskning av data en interaktiv ögonblicksbild av data vid varje transformering. Mer information finns i Dataförhandsgranskning i felsökningsläge.
Övre stapel
Det övre fältet innehåller åtgärder som påverkar hela dataflödet, till exempel verifierings- och felsökningsinställningar. Du kan också visa den underliggande JSON-koden och dataflödesskriptet för din omvandlingslogik.
Tillgängliga transformeringar
Visa översikten över transformering av dataflödesmappning för att hämta en lista över tillgängliga transformeringar.
Dataflödesaktivitet
Dataflöden operationaliseras i Azure Synapse Analytics-pipelines med hjälp av dataflödesaktiviteten. Allt en användare behöver göra är att ange vilken integrationskörning som ska användas och skicka in parametervärden. Mer information finns i Azure Integration Runtime.
Felsökningsläge
Med felsökningsläget kan du interaktivt se resultatet av varje transformeringssteg medan du skapar och felsöker dina dataflöden. Felsökningssessionen kan användas både i när du skapar dataflödeslogik och kör pipeline-felsökningskörningar med dataflödesaktiviteter. Mer information finns i dokumentationen för felsökningsläge.
Övervaka dataflöden
Dataflödet integreras med befintliga azure Synapse Analytics-övervakningsfunktioner. Information om hur du förstår dataflödesövervakningsutdata finns i övervaka mappning av dataflöden.
Azure Synapse Analytics-teamet har skapat en prestandajusteringsguide som hjälper dig att optimera körningstiden för dina dataflöden när du har skapat din affärslogik.
Relaterat innehåll
- Lär dig hur du skapar en källtransformering.
- Lär dig hur du skapar dina dataflöden i felsökningsläge.