Condividi tramite


Guida introduttiva: spostare e trasformare i dati con flussi di dati e pipeline di dati

In questa esercitazione viene illustrato come l'esperienza del flusso di dati e della pipeline di dati può creare una soluzione data factory potente e completa.

Prerequisiti

Per iniziare, è necessario soddisfare i prerequisiti seguenti:

Flussi di dati confrontati con le pipeline

I flussi di dati Gen2 consentono di sfruttare un'interfaccia a basso codice e 300+ dati e trasformazioni basate su intelligenza artificiale per pulire, preparare e trasformare facilmente i dati con maggiore flessibilità rispetto a qualsiasi altro strumento. Le pipeline di dati consentono funzionalità avanzate di orchestrazione dei dati predefinite per comporre flussi di lavoro di dati flessibili che soddisfano le esigenze aziendali. In una pipeline è possibile creare raggruppamenti logici di attività che eseguono un'attività, che possono includere la chiamata di un flusso di dati per pulire e preparare i dati. Anche se esistono alcune funzionalità che si sovrappongono tra i due, la scelta di quale usare per uno scenario specifico dipende dal fatto che sia necessaria la ricchezza completa delle pipeline o che sia possibile usare le funzionalità più semplici ma più limitate dei flussi di dati. Per altri dettagli, vedere la Guida alle decisioni su Fabric

Trasformare i dati con i flussi di dati

Seguire questa procedura per configurare il flusso di dati.

Passaggio 1: creare un flusso

  1. Scegliere l'area di lavoro abilitata per Fabric e quindi selezionare Nuovo. Selezionare quindi Dataflow Gen2.

    Screenshot che mostra dove iniziare a creare un dataflow gen2.

  2. Verrà visualizzata la finestra dell'editor del flusso di dati. Selezionare la scheda Importa da SQL Server.

    Screenshot che mostra la finestra dell'editor del flusso di dati.

Passaggio 2: recuperare i dati

  1. Nella finestra di dialogo Connetti all'origine dati visualizzata di seguito immettere i dettagli per connettersi al database SQL di Azure e quindi selezionare Avanti. Per questo esempio si usa il database di esempio AdventureWorksLT configurato quando si configura il database SQL di Azure nei prerequisiti.

    Screenshot che mostra come connettersi al database SQL di Azure.

  2. Selezionare i dati da trasformare e quindi selezionare Crea. Per questa guida introduttiva, selezionare SalesLT.Customer dai dati di esempio AdventureWorksLT forniti per il database SQL di Azure e quindi il pulsante Seleziona tabelle correlate per includere automaticamente due altre tabelle correlate.

    Screenshot che mostra dove scegliere tra i dati disponibili.

Passaggio 3: trasformare i dati

  1. Se non è selezionata, selezionare il pulsante Visualizzazione diagramma nella barra di stato nella parte inferiore della pagina oppure selezionare Visualizzazione diagramma nel menu Visualizza nella parte superiore dell'editor di Power Query. Una di queste opzioni può attivare o disattivare la visualizzazione diagramma.

    Screenshot che mostra dove selezionare la visualizzazione diagramma.

  2. Fare clic con il pulsante destro del mouse sulla query SalesLT Customer oppure selezionare i puntini di sospensione verticali a destra della query, quindi selezionare Unisci query.

    Screenshot che mostra dove trovare l'opzione Unisci query.

  3. Configurare l'unione selezionando la tabella SalesLTOrderHeader come tabella corretta per l'unione, la colonna CustomerID di ogni tabella come colonna join e Left outer come tipo di join. Quindi selezionare OK per aggiungere la query di unione.

    Screenshot della schermata di configurazione di unione.

  4. Selezionare il pulsante Aggiungi destinazione dati, simile a un simbolo di database con una freccia sopra di essa, dalla nuova query di unione appena creata. Quindi selezionare il database SQL di Azure in tipo di destinazione.

    Screenshot che evidenzia il pulsante Aggiungi destinazione dati nella query di unione appena creata.

  5. Specificare i dettagli per la connessione al database SQL di Azure in cui pubblicare la query di unione. In questo esempio è possibile usare anche il database AdventureWorksLT usato come origine dati per la destinazione.

    Screenshot che mostra la finestra di dialogo Connetti alla destinazione dati con i valori di esempio popolati.

  6. Scegliere un database per archiviare i dati e specificare un nome di tabella, quindi selezionare Avanti.

    Screenshot che mostra la finestra Scegli destinazione.

  7. È possibile lasciare le impostazioni predefinite nella finestra di dialogo Scegli impostazioni di destinazione e selezionare Salva impostazioni senza apportare modifiche qui.

    Screenshot che mostra la finestra di dialogo Scegliere le impostazioni di destinazione.

  8. Selezionare Pubblica di nuovo nella pagina dell'editor del flusso di dati per pubblicare il flusso di dati.

    Screenshot che evidenzia il pulsante Pubblica nell'editor dataflow gen2.

Spostare dati con pipeline di dati

Dopo aver creato un Dataflow Gen2, è possibile usarlo in una pipeline. In questo esempio si copiano i dati generati dal flusso di dati in formato testo in un account Archiviazione BLOB di Azure.

Passaggio 1: creare una nuova pipeline di dati

  1. Nell'area di lavoro selezionare Nuovo e quindi selezionare Pipeline di dati.

    Screenshot che mostra da dove iniziare una nuova pipeline di dati.

  2. Assegnare alla pipeline il nome e quindi selezionare Crea.

    Screenshot che mostra la richiesta di creazione della nuova pipeline con un nome di pipeline di esempio.

Passaggio 2: configurare il flusso di dati

  1. Aggiungere una nuova attività del flusso di dati alla pipeline di dati selezionando Flusso di dati nella scheda Attività.

    Screenshot che mostra dove selezionare l'opzione Flusso dati.

  2. Selezionare il flusso di dati nell'area di disegno della pipeline e quindi la scheda Impostazioni. Scegliere il flusso di dati creato in precedenza dall'elenco a discesa.

    Screenshot che mostra come scegliere il flusso dati creato.

  3. Selezionare Salva e quindi Esegui per eseguire il flusso di dati per popolare inizialmente la tabella di query unita progettata nel passaggio precedente.

    Screenshot che mostra dove selezionare Esegui.

Passaggio 3: usare l'assistente copia per aggiungere un'attività di copia

  1. Selezionare Copia dati nell'area di disegno per aprire lo strumento Copia assistente per iniziare. In alternativa, selezionare Usa assistente copia dall'elenco a discesa Copia dati nella scheda Attività della barra multifunzione.

    Screenshot che mostra i due modi per accedere all'assistente copia.

  2. Scegliere l'origine dati selezionando un tipo di origine dati. In questa esercitazione si userà il database SQL di Azure usato in precedenza quando è stato creato il flusso di dati per generare una nuova query di unione. Scorrere verso il basso sotto le offerte di dati di esempio e selezionare la scheda Azure e quindi database SQL di Azure. Selezionare Avanti per continuare.

    Screenshot che mostra dove scegliere l'origine dati.

  3. Creare una connessione all'origine dati selezionando Crea nuova connessione. Immettere le informazioni di connessione necessarie nel pannello e immettere AdventureWorksLT per il database, in cui è stata generata la query di unione nel flusso di dati. Quindi seleziona Avanti.

    Screenshot che mostra dove creare una nuova connessione.

  4. Selezionare la tabella generata nel passaggio del flusso di dati precedente e quindi selezionare Avanti.

    Screenshot che mostra come selezionare le tabelle disponibili.

  5. Per la destinazione scegliere Archiviazione BLOB di Azure e quindi selezionare Avanti.

    Screenshot che mostra la destinazione dei dati Archiviazione BLOB di Azure.

  6. Creare una connessione alla destinazione selezionando Crea nuova connessione. Fornire i dettagli per la connessione, quindi selezionare Successivo.

    Screenshot che mostra come creare una connessione.

  7. Selezionare il percorso della cartella e specificare un nome file, quindi selezionare Avanti.

    Screenshot che illustra come selezionare il percorso della cartella e il nome del file.

  8. Selezionare di nuovo Avanti per accettare il formato di file predefinito, il delimitatore di colonna, il delimitatore di riga e il tipo di compressione, includendo facoltativamente un'intestazione.

    Screenshot che mostra le opzioni di configurazione per il file in Archiviazione BLOB di Azure.

  9. Finalizzare le impostazioni. Esaminare quindi e selezionare Salva + Esegui per completare il processo.

    Screenshot che mostra come rivedere le impostazioni dei dati di copia.

Passaggio 5: progettare la pipeline di dati e salvare per eseguire e caricare i dati

  1. Per eseguire l'attività di copia dopo l'attività Flusso di dati, trascinare da Riuscito nell'attività Flusso di dati all'attività di copia. L'attività di copia viene eseguita solo dopo che l'attività Flusso di dati ha avuto esito positivo.

    Screenshot che mostra come eseguire il flusso di dati dopo l'attività di copia.

  2. Per salvare la pipeline di dati, selezionare Salva. Quindi selezionare Esegui per eseguire la pipeline di dati e caricare i dati.

    Screenshot che mostra dove selezionare Salva ed esegui.

Pianificare l'esecuzione della pipeline

Dopo aver completato lo sviluppo e il test della pipeline, è possibile pianificarlo per l'esecuzione automatica.

  1. Nella scheda Home della finestra dell'editor della pipeline selezionare Pianifica.

    Screenshot del pulsante Pianifica nel menu della scheda Home nell'editor della pipeline.

  2. Configurare la pianificazione in base alle esigenze. L'esempio seguente pianifica l'esecuzione giornaliera della pipeline alle 20:00 fino alla fine dell'anno.

    Screenshot che mostra la configurazione della pianificazione per l'esecuzione giornaliera di una pipeline alle 20:00 fino alla fine dell'anno.

Questo esempio illustra come creare e configurare un flusso di dati Gen2 per creare una query di unione e archiviarla in un database SQL di Azure, quindi copiare i dati dal database in un file di testo in Archiviazione BLOB di Azure. Contenuto del modulo:

  • Creare un flusso di dati.
  • Trasformare i dati con il flusso di dati.
  • Creare una pipeline di dati usando il flusso di dati.
  • Ordinare l'esecuzione dei passaggi nella pipeline.
  • Copiare dati con l'assistente copia.
  • Esegui e pianifica le tue pipeline di dati.

Passare quindi a altre informazioni sul monitoraggio delle esecuzioni della pipeline.