Come ottenere la derivazione da Azure Synapse Analytics in Microsoft Purview

Questo documento illustra i passaggi necessari per connettere un'area di lavoro Azure Synapse con un account Microsoft Purview per tenere traccia della derivazione dei dati e inserire le origini dati. Il documento illustra anche i dettagli dell'ambito di copertura delle attività e delle funzionalità di derivazione supportate.

Quando si connette Azure Synapse Analytics a Microsoft Purview, ogni volta che viene eseguita un'attività della pipeline supportata, i metadati relativi ai dati di origine dell'attività, ai dati di output e all'attività vengono inseriti automaticamente nella Microsoft Purview Data Map.

Se un'origine dati è già stata analizzata ed esiste nella mappa dati, il processo di inserimento aggiungerà le informazioni di derivazione da Azure Synapse Analytics all'origine esistente. Se l'origine o l'output non esiste nel mapping dei dati ed è supportato dalla derivazione di Azure Synapse Analytics, Microsoft Purview aggiungerà automaticamente i metadati da Synapse Analytics alla mappa dati nella raccolta radice del dominio predefinita.

Questo può essere un ottimo modo per monitorare il patrimonio dati mentre gli utenti spostano e trasformano le informazioni usando Azure Synapse Analytics.

Funzionalità di Azure Synapse supportate

Attualmente, Microsoft Purview acquisisce la derivazione del runtime dalle attività della pipeline di Azure Synapse seguenti:

• Copiare dati
• Flusso di dati

supporto attività Copy

* Microsoft Purview attualmente non supporta query o stored procedure per la derivazione o l'analisi. La derivazione è limitata solo alle origini di tabella e visualizzazione.

Se si usa Integration Runtime self-hosted, prendere nota della versione minima con supporto di derivazione per:

• Qualsiasi caso d'uso: versione 5.9.7885.3 o successiva
• Copia di dati da Oracle: versione 5.10 o successiva
• Copia di dati in Azure Synapse Analytics tramite il comando COPY o PolyBase: versione 5.10 o successiva

Limitazioni sulla derivazione dell'attività di copia

Attualmente, se si usano le funzionalità di attività di copia seguenti, la derivazione non è ancora supportata:

• Copiare i dati in Azure Data Lake Storage Gen1 usando il formato binario.
• Impostazione di compressione per file binari, testo delimitato, Excel, JSON e XML.
• Opzioni di partizione di origine per database Azure SQL, Istanza gestita di SQL di Azure, analisi Azure Synapse, SQL Server e tabella SAP.
• Copiare i dati nel sink basato su file con l'impostazione del numero massimo di righe per file.
• La derivazione a livello di colonna non è attualmente supportata dall'attività di copia quando l'origine/sink è un set di risorse.

Oltre alla derivazione, lo schema dell'asset di dati (illustrato nella scheda Asset -> Schema) viene segnalato per i connettori seguenti:

• File CSV e Parquet in BLOB di Azure, File di Azure, ADLS Gen1, ADLS Gen2 e Amazon S3
• Azure Esplora dati, database Azure SQL, Istanza gestita di SQL di Azure, Azure Synapse Analytics, SQL Server, Teradata

supporto Flusso di dati

* Microsoft Purview attualmente non supporta query o stored procedure per la derivazione o l'analisi. La derivazione è limitata solo alle origini di tabella e visualizzazione.

Limitazioni sulla derivazione del flusso di dati

• La derivazione del flusso di dati può generare un set di risorse a livello di cartella senza visibilità sui file coinvolti.
• La derivazione a livello di colonna non è attualmente supportata quando source/sink è un set di risorse.
• Per la derivazione dell'attività del flusso di dati, Microsoft Purview supporta solo la visualizzazione dell'origine e del sink coinvolti. La derivazione dettagliata per la trasformazione del flusso di dati non è ancora supportata.
• La derivazione non è supportata quando i flowlet fanno parte del flusso di dati.
• Attualmente Purview non supporta la creazione di report di derivazione per le tabelle Synapse (database LakeHouse/database dell'area di lavoro)

Accedere all'account Microsoft Purview protetto

Se l'account Microsoft Purview è protetto dal firewall, informazioni su come consentire a Azure Synapse di accedere a un account Microsoft Purview protetto tramite endpoint privati di Microsoft Purview.

Portare Azure Synapse derivazione in Microsoft Purview

Passaggio 1: Connettere Azure Synapse'area di lavoro all'account Microsoft Purview

È possibile connettere un'area di lavoro Azure Synapse a Microsoft Purview e la connessione consente a Azure Synapse di eseguire il push delle informazioni sulla derivazione in Microsoft Purview. Seguire i passaggi descritti in Connettere l'area di lavoro Synapse a Microsoft Purview. Più aree di lavoro Azure Synapse possono connettersi a un singolo account Microsoft Purview per il rilevamento olistico della derivazione.

Passaggio 2: Eseguire la pipeline nell'area di lavoro Azure Synapse

È possibile creare pipeline con attività Copy nell'area di lavoro Azure Synapse. Non è necessaria alcuna altra configurazione per l'acquisizione dei dati di derivazione. I dati di derivazione verranno acquisiti automaticamente durante l'esecuzione delle attività.

Passaggio 3: Monitorare lo stato dei report di derivazione

Dopo aver eseguito la pipeline di Azure Synapse, nella visualizzazione Monitoraggio pipeline Synapse è possibile controllare lo stato dei report di derivazione selezionando il pulsante Di derivazione seguente. Le stesse informazioni sono disponibili anche nella sezione JSON>reportLineageToPurvew di output dell'attività.

Passaggio 4: Visualizzare le informazioni sulla derivazione nell'account Microsoft Purview

Nell'account Microsoft Purview è possibile esplorare gli asset e scegliere il tipo "Azure Synapse Analytics". È anche possibile cercare Unified Catalog usando parole chiave.

Selezionare l'attività Account Synapse -> pipeline -> e visualizzare le informazioni sulla derivazione.

Monitorare i collegamenti Azure Synapse Analytics

Nel portale di governance di Microsoft Purview è possibile monitorare i collegamenti Azure Synapse Analytics.

Passaggi successivi

Guida per l'utente della derivazione del catalogo

Collegamento ad Azure Condivisione dati per la derivazione