Modifica

Condividi tramite

Analisi dei Big Data con Esplora dati di Azure

Esplora dati di Azure
Hub eventi di Azure
Hub IoT Azure
Archiviazione di Azure
Azure Synapse Analytics

Idee per soluzioni

In questo articolo viene descritta un'idea di soluzione. Il cloud architect può usare queste linee guida per visualizzare i componenti principali di un'implementazione tipica di questa architettura. Usare questo articolo come punto di partenza per il design di una soluzione ben progettata che sia in linea con i requisiti specifici del carico di lavoro.

Questa soluzione illustra l'analisi dei Big Data su grandi volumi di dati ad alta velocità provenienti da varie origini.

Apache® e Apache Kafka® sono marchi o marchi registrati di Apache Software Foundation negli Stati Uniti e/o in altri Paesi. L'uso di questi marchi non implica alcuna approvazione da parte di Apache Software Foundation.

Architettura

Diagramma che mostra l'analisi dei Big Data con Azure Esplora dati.

Scaricare un file di Visio di questa architettura.

Flusso di dati

  1. I dati non strutturati, semistrutturati e non strutturati (testo libero), ad esempio qualsiasi tipo di log, eventi aziendali e attività utente, possono essere inseriti in Azure Esplora dati da varie origini.
  2. Inserire dati in Azure Esplora dati con bassa latenza e velocità effettiva elevata usando i connettori per Azure Data Factory, Hub eventi di Azure, hub IoT di Azure, Kafka e così via. In alternativa, inserire dati tramite Archiviazione di Azure (BLOB o ADLS Gen2), che usa Griglia di eventi di Azure e attiva la pipeline di inserimento in Azure Esplora dati. È anche possibile esportare continuamente i dati in Archiviazione di Azure in formato Parquet compresso e partizionato ed eseguire facilmente query sui dati come descritto in Panoramica dell'esportazione continua dei dati.
  3. Esportare i dati preaggregati da Azure Esplora dati in Archiviazione di Azure e quindi inserire i dati in Synapse Analytics per creare modelli di dati e report.
  4. Usare le funzionalità native di Azure Esplora dati per elaborare, aggregare e analizzare i dati. Per ottenere informazioni dettagliate a velocità di fulmine, creare dashboard di analisi quasi in tempo reale usando dashboard di Azure Esplora dati, Power BI, Grafana o altri strumenti. Usare Azure Synapse Analytics per creare un data warehouse moderno e combinarlo con i dati di Azure Esplora dati per generare report bi su modelli di dati curati e aggregati.
  5. Azure Esplora dati offre funzionalità di analisi avanzate native per l'analisi delle serie temporali, il riconoscimento dei modelli e il rilevamento e la previsione delle anomalie. Azure Esplora dati è anche ben integrato con i servizi di Machine Learning, ad esempio Databricks e Azure Machine Learning. Questa integrazione consente di creare modelli usando altri strumenti e servizi e di esportare modelli di Machine Learning in Esplora dati di Azure per l'assegnazione di punteggi ai dati.

Componenti

  • Hub eventi di Azure: servizio di inserimento dati completamente gestito e in tempo reale semplice, attendibile e scalabile.
  • hub IoT di Azure: servizio gestito per abilitare la comunicazione bidirezionale tra i dispositivi IoT e Azure.
  • Kafka in HDInsight: servizio facile, conveniente e di livello aziendale per l'analisi open source con Apache Kafka.
  • Azure Esplora dati: servizio di analisi dei dati veloce, completamente gestito e altamente scalabile per l'analisi in tempo reale su grandi volumi di dati in streaming da applicazioni, siti Web, dispositivi IoT e altro ancora.
  • Dashboard di Azure Esplora dati: esportare in modo nativo le query Kusto esaminate nell'interfaccia utente Web per ottimizzare i dashboard.
  • Azure Synapse Analytics: servizio di analisi che riunisce data warehousing aziendale e analisi di Big Data.

Dettagli dello scenario

Potenziali casi d'uso

Questa soluzione illustra in che modo Azure Esplora dati e Azure Synapse Analytics si integrano tra loro per l'analisi quasi in tempo reale e i moderni casi d'uso di data warehousing.

Questa soluzione è già usata dai clienti Microsoft. Ad esempio, l'azienda di ride-hailing basata su Singapore, Grab, ha implementato analisi in tempo reale su una grande quantità di dati raccolti dai servizi di taxi e consegna di cibo, nonché dalle app partner commerciali. Il team di Grab ha presentato la propria soluzione a MS Ignite in questo video (20:30 e versioni successive). Usando questo modello, Grab ha elaborato più di un trilione di eventi al giorno.

Questa soluzione è ottimizzata per il settore della vendita al dettaglio.

Collaboratori

Questo articolo viene gestito da Microsoft. Originariamente è stato scritto dai seguenti contributori.

Autore principale:

Per visualizzare i profili LinkedIn non pubblici, accedere a LinkedIn.

Passaggi successivi