Condividi tramite

Eseguire la migrazione da Dataflow Gen1 a Dataflow Gen2: scenari di migrazione

  • Articolo

Questo articolo presenta diversi scenari di migrazione che si possono considerare durante la migrazione da Dataflow Gen1 a Dataflow Gen2. Fornisce anche indicazioni e consigli sull'esecuzione. Questi scenari possono ispirare a determinare l'approccio di migrazione corretto in base ai requisiti e alle circostanze aziendali.

Quando si esegue la migrazione dei flussi di dati, è importante pensare oltre a copiare semplicemente le soluzioni esistenti. È invece consigliabile modernizzare le soluzioni sfruttando le innovazioni e le funzionalità più recenti di Dataflow Gen2. Questo approccio garantisce che le soluzioni possano supportare le crescenti esigenze dell'azienda.

Dataflow Gen2, ad esempio, include una funzionalità denominata di copia veloce, riducendo in modo significativo il tempo necessario per inserire dati per determinate trasformazioni e connettori. Flusso di dati Gen2 è stato migliorato anche aggiornamento incrementale, che ottimizza i processi di aggiornamento dei dati aggiornando solo i dati modificati. Questi miglioramenti non solo migliorano le prestazioni e l'efficienza, ma garantiscono anche la scalabilità delle soluzioni.

Nota

Gli scenari di migrazione sono rappresentativi delle migrazioni reali dei clienti, ma i singoli scenari dei clienti sono ovviamente diversi.

Questo articolo non tratta le informazioni sui prezzi. Per informazioni sui prezzi, vedere i prezzi del tessuto .

Importante

L'utilizzo della CPU da Dataflow Gen1 e Dataflow Gen2 può variare per molti motivi, ad esempio l'utilizzo di nuove funzionalità in Dataflow Gen2, tra cui lakehouse staging e warehouse compute. È consigliabile eseguire un'analisi approfondita, ad esempio come prova di concetto (POC), per quantificare il consumo di CPU comparativo tra Dataflow Gen1 e Dataflow Gen2 prima di eseguire la migrazione dei flussi di dati.

Scenari di migrazione

I flussi di dati offrono una piattaforma versatile per la creazione di soluzioni ETL scalabili (Extract, Transform e Load) e ELT (Extract, Load e Transform), che offrono una vasta gamma di scenari di utilizzo, da bi personale a business bi aziendale.

Ecco tre possibili scenari di migrazione che hanno ispirato questo articolo:

  • l'utilizzo personale o del team: Singoli individui o piccoli team utilizzano flussi di dati per automatizzare le attività di inserimento e preparazione dei dati, per consentire a loro di concentrarsi sull'analisi dei dati e sugli approfondimenti. Ad esempio, un team potrebbe usare flussi di dati per estrarre dati da varie origini, ad esempio Microsoft Excel o Microsoft SharePoint. I flussi di dati trasformano i dati di origine in base alle esigenze specifiche e lo caricano in un modello semantico a scopo di creazione di report.
  • Uso dipartimentale: I dipartimenti all'interno di un'organizzazione utilizzano dataflow per gestire grandi quantità di dati e trasformazioni complesse. Possono creare flussi di dati componibili che promuovono la riusabilità e la coerenza tra i report di reparto, assicurando che tutti i membri del team funzionino sulla stessa versione dei dati.
  • Utilizzo aziendale: A livello aziendale, i flussi di dati sono essenziali nell'assimilare su larga scala grandi quantità di dati in più reparti. Fungono da livello di preparazione dei dati centralizzato che alimenta molti modelli semantici, che sostiene un ampio spettro di applicazioni di business intelligence e analisi. L'intera organizzazione trae vantaggio da dati affidabili, up-todata, consentendo il processo decisionale informato a tutti i livelli.

In ognuno di questi scenari, i flussi di dati consentono di creare soluzioni ETL/ELT affidabili e scalabili che possono aumentare con le esigenze del team, del reparto o dell'organizzazione. I flussi di dati ben progettati assicurano che i processi di gestione dei dati rimangano efficienti ed efficaci.

Per altre informazioni sugli scenari di utilizzo, vedere pianificazione dell'implementazione di Microsoft Fabric.

Scenario di migrazione 1

In questo scenario di migrazione, l'organizzazione utilizza i dataflow di Power BI per la preparazione dei dati self-service, al fine di supportare scenari di utilizzo personale o del team. I flussi di dati sono contenuti all'interno di una singola area di lavoro assegnata a una capacità di Fabric.

Gli autori di flussi di dati vogliono sfruttare le funzionalità avanzate di Dataflow Gen2 a scopo di creazione. Allo stesso tempo, prevede di continuare temporaneamente a usare le tabelle del flusso di dati come origine dati durante una migrazione in più fasi. Questo approccio garantisce facilità d'uso e connettività per gli autori di contenuti che usano modelli semantici di Power BI esistenti, fogli di calcolo di Excel o tabelle dataverse, almeno fino al completamento della transizione alle origini di destinazione dati supportate.

Per migrare le loro soluzioni, i creatori del flusso di dati:

  1. Aggiornare l'ID dell'area di lavoro, se viene creata una nuova area di lavoro per archiviare il nuovo flusso di dati.
  2. Aggiornare le soluzioni esistenti dall'ID del flusso di dati originale (Gen1) all'ID del flusso di dati nuovo (Gen2).

Ecco una query di esempio che è stata aggiornata per recuperare i dati per una tabella dimensionale delle date.

let
    Source = PowerPlatform.Dataflows(null),
    Workspaces = Source{[Id="Workspaces"]}[Data],
    Workspace = Workspaces{[workspaceId="<enter new workspace ID>"]}[Data],
    DataflowId = Workspace{[dataflowId="<enter new dataflow ID"]}[Data],
    DimDateTable = DataflowId{[entity="DimDate", version=""]}[Data]
in
    DimDateTable

Suggerimento

Se si parametrizzano i valori workspaceId e dataflowId nei modelli semantici, è possibile usare l'operazione Datasets - Update Parameter in Group API REST per aggiornare i dettagli del parametro mashup a livello di codice.

Importante

Sebbene sia possibile ottenere dati usando il connettore Dataflow, questo approccio non è consigliato quando si usa Dataflow Gen2. È invece consigliabile usare la funzionalità di destinazione dati per esportare tutte le tabelle create da Dataflow Gen2 verso elementi di Fabric o altre destinazioni, quando possibile. Questo perché il connettore del flusso di dati usa un livello di archiviazione del sistema sottostante (chiamato DataflowsStagingLakehouse) e potrebbe cambiare quando vengono aggiunte nuove funzionalità o caratteristiche.

Scenario di migrazione 2

In questo scenario di migrazione, l'organizzazione usa flussi di dati di Power BI per la preparazione dei dati self-service per supportare scenari di utilizzo del reparto con flussi di dati componibili e tabelle collegate in più aree di lavoro.

Gli autori dei flussi di dati vogliono sfruttare le funzionalità avanzate di Dataflow Gen2 per la creazione, condividendo e esportando in modo efficiente le tabelle dei flussi di dati in un lakehouse di Fabric. Questo metodo sfrutta le scorciatoie OneLake. I collegamenti oneLake semplificano la gestione delle soluzioni riducendo la latenza dei processi tradizionalmente associata alle tabelle collegate tra aree di lavoro ed eliminando copie ridondanti dei dati.

Per eseguire la migrazione delle soluzioni, gli autori del flusso di dati:

  1. Sostituire le tabelle collegate con le scorciatoie OneLake, che forniscono ai consumatori a valle l'accesso diretto ai dati.
  2. Aggiornare le soluzioni esistenti e le query di transizione sostituendo le funzioni di PowerPlatform.Dataflows o PowerBI.Dataflows con la funzione di accesso ai dati Lakehouse.Contents in Fabric.

Ecco un esempio di query di PowerQuery che è stata aggiornata per recuperare i dati dalla tabella delle dimensioni del cliente.

let
  Source = Lakehouse.Contents([]),
  WorkspaceId = Source{[workspaceId="<0000aaaa-11bb-cccc-dd22-eeeeee333333>"]}[Data],
  LakehouseId = WorkspaceId{[lakehouseId="1111bbbb-22cc-dddd-ee33-ffffff444444"]}[Data],
  DimCustomerTable = LakehouseId{[Id="DimCustomer", ItemKind="Table"]}[Data]
in
  DimCustomerTable

Nota

È possibile modificare le espressioni di query a livello di codice in un modello semantico di Power BI pubblicato in Fabric usando l'endpoint XMLA e aggiornando l'espressione M partizionata di una tabella.

Tenere tuttavia presente che, dopo aver modificato il modello semantico usando l'endpoint XMLA, non sarà mai possibile scaricarlo dal servizio Power BI.

Scenario di migrazione 3

In questo scenario di migrazione, l'organizzazione utilizza i dataflow di Power BI per la preparazione autonoma dei dati a supporto di scenari di utilizzo dipartimentali con dataflow componibili in più aree di lavoro.

I creatori di flussi di dati vogliono sfruttare le funzionalità avanzate di Dataflow Gen2 per la creazione, mentre generano e condividono tabelle di flussi di dati da un magazzino di Fabric con permessi utente dettagliati. Questo approccio offre flessibilità e l'accesso ai dati può essere implementato con sicurezza a livello di riga (RLS), sicurezza a livello di colonna (CLS)e DDM (Dynamic Data Masking).

Per eseguire la migrazione delle loro soluzioni, i creatori del flusso di dati:

  1. Concedere l'accesso ai dati tramite il motore di calcolo SQL autorizzazioni granulari, che forniscono un accesso più selettivo a determinati utenti limitando l'accesso a tabelle e schemi specifici, nonché implementando la sicurezza a livello di riga e CLS.
  2. Aggiornare le soluzioni esistenti e le query di transizione sostituendo la funzione PowerPlatform.Dataflows o PowerBI.Dataflows con la funzione di accesso ai dati Fabric.Warehouse in Fabric.

Ecco un esempio di query di PowerQuery che è stata aggiornata per recuperare i dati dalla tabella delle dimensioni del cliente.

let
  Source = Fabric.Warehouse([]),
  WorkspaceId = Source{[workspaceId="0000aaaa-11bb-cccc-dd22-eeeeee333333"]}[Data],
  WarehouseId = WorkspaceId{[warehouseId="1111bbbb-22cc-dddd-ee33-ffffff444444"]}[Data],
  DimCustomerTable = WarehouseId{[Schema="dbo", Item="DimCustomer"]}[Data]
in
  DimCustomerTable

Linee guida per la migrazione

È consigliabile compilare un inventario dei flussi di dati e degli elementi dipendenti. È anche consigliabile usare i modelli di Power Query.

Inventario

Per pianificare la migrazione, il primo passaggio consiste nell'eseguire l'inventario dei flussi di dati e di tutte le soluzioni downstream che dipendono da esse. L'identificazione degli elementi dipendenti consente di evitare tempi di inattività e interruzioni.

  • Flussi di dati come origine in Power BI
    • Usare l'operazione Dataflows - Get Upstream Dataflows In Group API REST per identificare la derivazione e le dipendenze tra un flusso di dati che usa tabelle collegate. In particolare, le tabelle collegate possono avere una profondità massima di 32 riferimenti.
      • In alternativa, è possibile usare la funzione Semantic Link Labs per semplificare il processo di chiamata ricorsiva dell'operazione api REST . La funzione esegue l'iterazione su tutti i flussi di dati collegati fino a quando non rileva un record con un valore vuoto, che indica la fine della catena.
    • Usare l'operazione Admin - Datasets GetDatasetToDataflowsLinksInGroupAsAdmin API REST per creare un elenco di modelli semantici di Power BI che utilizzano i dataflow all'interno di un'area di lavoro e che necessiteranno di aggiornamenti.
    • Usare le API dello scanner di Microsoft Fabric per recuperare, dai modelli semantici all'interno del tenant, le espressioni di query mashup. È quindi possibile cercare nelle espressioni qualsiasi ID del flusso di dati per comprendere il lineage completo all'interno del tenant.
  • Flussi di dati come origine in Power Apps
    • Accedere alle espressioni di query mashup dalla tabella del flusso di dati all'interno dei flussi di dati di Power Platform della soluzione app . È quindi possibile cercare qualsiasi ID del flusso di dati nelle espressioni per comprendere la derivazione completa tra le applicazioni all'interno del tenant. Per informazioni su come installare e gestire le app in Dynamics 365 che funzionano su Microsoft Dataverse, consultare Gestire Power Apps.
  • Flussi di dati come sorgente in Excel
    • Mentre le cartelle di lavoro di Excel non dispongono di un'API REST per tenere traccia della derivazione e delle dipendenze, è possibile utilizzare Visual Basic for Applications (VBA) e l'oggetto WorkbookConnection per determinare se la stringa di connessione contiene il testo Provider=Microsoft.Mashup.OleDb.1, che indica una connessione di Power Query. Inoltre, è possibile usare la proprietà WorkbookQuery.Formula per estrarre formule di Power Query.
    • Dopo aver monitorato la derivazione dei flussi di dati, è consigliabile aggiornare le connessioni del flusso di dati esistenti in Excel per gli elementi di Fabric come indicato di seguito:
      • Per accedere all'endpoint di analisi SQL di un Fabric Lakehouse, warehouse o database SQL, usare il connettore SQL Server , che usa la funzione di accesso ai dati Sql.Database.
      • Per accedere al contenuto dei file di Fabric lakehouse, usare il connettore Azure Data Lake Gen2 Storage , che utilizza la funzione di accesso ai dati AzureStorage.DataLake.
      • Per accedere a un database eventhouse di Fabric, usare il connettore di Esplora dati di Azure, che usa la funzione di accesso ai dati AzureDataExplorer.Contents.

Modelli di Power Query

I modelli di Power Query semplificano il processo di trasferimento di un progetto tra diverse integrazioni di Power Query. Consentono di semplificare ciò che altrimenti potrebbe essere un'attività complessa e dispendiosa in termini di tempo. I modelli incapsulano l'intero progetto di Power Query, inclusi gli script e i metadati, in un singolo file portabile.

I modelli di Power Query sono stati progettati per essere compatibili con varie integrazioni, ad esempio i flussi di dati di Power BI (Gen1) e i flussi di dati di Infrastruttura (Gen2), garantendo una transizione uniforme tra questi servizi.

Contenuto correlato

Per altre informazioni su questo articolo, vedere le risorse seguenti:

I partner di Fabric sono disponibili per aiutare la tua organizzazione a eseguire correttamente il processo di migrazione. Per coinvolgere un partner fabric, visitare il portale partner di Fabric.