Prodotti dati di analisi su scala cloud in Azure

i prodotti dati sono dati offerti come prodotti e calcolati, salvati ed erogati da servizi di persistenza poliglotti, che potrebbero essere necessari in determinati casi d'uso. Il processo di creazione e gestione di un prodotto dati può richiedere servizi e tecnologie non inclusi nella zona di destinazione dei dati servizi principali. Un esempio di questo tipo è la reportistica con requisiti di nicchia, come la conformità e le segnalazioni fiscali.

Considerazioni sulla progettazione

Una zona di destinazione dei dati può supportare più prodotti dati, creati inserendo i dati all'interno della stessa zona di destinazione o provenienti da diverse zone di destinazione. Questo è illustrato nel diagramma seguente.

L'esempio precedente mostra:

• Consumo di dati intrazone:
  • Il prodotto di dati B utilizza i dati del prodotto di dati A e di altri dati o prodotti di dati esistenti nel data lake nella propria landing zone.
  • I prodotti dati C e D utilizzano solo i dati dalle rispettive zone di destinazione dei dati.
• Utilizzo dei dati tra zone:
  • Il prodotto dati B consuma anche i dati del prodotto dati C e i dati nel data lake della zona di atterraggio 3.

Il gruppo di risorse per un prodotto dati include tutti i servizi necessari per crearli e gestirli. È possibile chiamare questo gruppo di risorse un'applicazione dati . Esempi di servizi che potrebbero far parte di un'applicazione dati includono Funzioni di Azure, Servizio app di Azure, App per la logica, Azure Analysis Services, Servizi cognitivi di Azure, Azure Machine Learning, Database SQL di Azure, Database di Azure per MySQL e Azure Cosmos DB.

I prodotti dati contengono dati provenienti da origini dati READ a cui sono state applicate alcune trasformazioni dei dati. Alcuni esempi possono essere un set di dati appena curato o un report bi.

Consigli per la progettazione

Creare prodotti dati all'interno della zona di destinazione dei dati rispettando i principi di progettazione che consentono la scalabilità con la governance dei dati. Le sezioni seguenti forniscono consigli di progettazione utili per pianificare l'ecosistema di applicazioni dati.

Distribuire più gruppi di risorse

Ogni applicazione dati è un gruppo di risorse. Poiché le applicazioni dati sono servizi di calcolo, servizi di persistenza poliglotta o entrambi, possono essere necessarie solo a seconda di determinati casi d'uso. Di conseguenza, vengono considerati un componente facoltativo della zona di destinazione dei dati. Nei casi in cui sono necessarie applicazioni dati, creare più gruppi di risorse per applicazione dati come illustrato nel diagramma seguente.

Impostare protezioni

Azure Policy guida la configurazione predefinita dei servizi all'interno di una zona di atterraggio dei dati. Si pensi all'analisi operativa come a più gruppi di risorse che il team del prodotto dati può richiedere da un catalogo di servizi standard. Con Azure Policy, è possibile configurare il set di funzionalità necessario e il limite di sicurezza.

Usare dati da più luoghi

Le applicazioni dati gestiscono, organizzano e interpretano i dati da più risorse di dati e presentano le analisi acquisite. Un prodotto di dati è il risultato dei dati provenienti da una o più applicazioni di dati all'interno delle zone di atterraggio dei dati. Consentire alle applicazioni dati di accedere ai dati da più origini e varie, quando necessario.

Ridimensionare in base alle esigenze

I servizi che costituiscono applicazioni dati sono distribuzioni incrementali nella zona di destinazione dei dati. Ridimensionare le applicazioni dati in base alle esigenze.

Abilitare l'individuazione dei dati

Registrare automaticamente i prodotti di dati in un catalogo dati, come Microsoft Purview, per consentire la scansione dei dati.

Identifica i tuoi prodotti di dati

Durante l'inizio della pianificazione di una zona di atterraggio dei dati, identificare quanti più prodotti di dati possibile (e le applicazioni dati che li generano e li mantengono) necessari per guidare l'architettura delle applicazioni di prodotti dati. La conformità alla governance della piattaforma implementata deve svolgere il ruolo più importante nelle decisioni.

Concentrarsi sul modo in cui le applicazioni dati sono produttori e consumatori di dati per altri utenti. Si supponga, ad esempio, di aver identificato una suite di prodotti dati (A, B, C e D) prodotti e utilizzati. Sono necessari prodotti dati A e D come origini per i dati nell'applicazione dati B per il prodotto dati B. Il prodotto dati B viene creato dai dati utilizzati dall'applicazione B dai prodotti dati A e D. Applicazione dati B funge da produttore di dati stesso e produce dati per il prodotto dati C.

Controllare l'ambiente dell'applicazione dati con infrastruttura come codice

La governance e l'infrastruttura come codice devono controllare l'ambiente dell'applicazione dati nell'ecosistema dei prodotti dati, come illustrato nel diagramma precedente.

Pubblicare modelli di dati

I team dei prodotti di dati devono pubblicare i loro modelli di dati in un repository per la modellazione.

Impostare le aspettative per gli utenti dei prodotti dati

Aggiornare i contratti di condivisione dei dati con contratti di servizio e certificazioni per i prodotti dati in modo da poter trasmettere aspettative accurate ai potenziali utenti del prodotto dati.

Acquisisci derivazione

Se il prodotto dati B viene creato dai dati provenienti dai prodotti dati A e D, la derivazione deve essere acquisita da A e D a B. È inoltre necessario acquisire ulteriore derivazione per il prodotto dati C, poiché viene creato usando i dati del prodotto dati B. La derivazione aggiornata deve essere acquisita in un'applicazione di derivazione dati prima di ogni rilascio del prodotto dati.

Definire l'architettura dell'applicazione dati

È necessario creare un'architettura dettagliata per ogni prodotto dati che definisce completamente la relazione con altri prodotti dati, le relative dipendenze e i relativi requisiti di accesso.

Passaggi successivi

applicazioni dati (allineate all'origine)