Streaming in Azure Databricks
È possibile usare Azure Databricks per l'inserimento dati, l'elaborazione, l'apprendimento automatico e l'IA in near real-time per dati di streaming.
Azure Databricks offre numerose ottimizzazioni per lo streaming e l'elaborazione incrementale, tra cui:
- Delta Live Tables fornisce una sintassi dichiarativa per l'elaborazione incrementale. Consulta Che cos'è Delta LiveTables?.
- Il caricatore automatico semplifica l'inserimento incrementale dall'archiviazione di oggetti cloud. Vedere Che cos'è l’Autoloader?.
- Unity Catalog aggiunge la governance dei dati ai carichi di lavoro di streaming. Vedi Uso di Unity Catalog con Streaming Strutturato.
Delta Lake offre il livello di archiviazione per queste integrazioni. Consulta lo streaming delle letture e scritture Delta table.
Per la gestione dei modelli in tempo reale, vedere Distribuire modelli con Mosaic AI Model Serving.
-
Informazioni di base sull'elaborazione near real-time e incrementale con Structured Streaming in Azure Databricks.
-
Informazioni sui concetti di base per la configurazione di carichi di lavoro incrementali e quasi in tempo reale con Structured Streaming.
-
La gestione delle informazioni di stato intermedie delle query di Structured Streaming con stato può contribuire ad evitare problemi di latenza e produzione imprevisti.
Considerazioni sulla produzione
Questo articolo contiene raccomandazioni per configurare carichi di lavoro di elaborazione incrementali relativamente alla produzione con flusso strutturato in Azure Databricks per soddisfare i requisiti di latenza e costi per applicazioni batch o in tempo reale.
-
Informazioni su come monitorare le applicazioni structured streaming in Azure Databricks.
-
Informazioni su come sfruttare unity Catalog insieme allo streaming strutturato in Azure Databricks.
-
Informazioni su come utilizzare Delta Lake tables come sorgenti e sink di streaming.
-
Vedere esempi di uso di Spark Structured Streaming con Cassandra, Azure Synapse Analytics, notebook Python e notebook Scala in Azure Databricks.
Azure Databricks include funzionalità specifiche per l'uso di campi di dati semistrutturati contenuti in Avro, buffer di protocollo e payload di dati JSON. Per altre informazioni, vedere:
- Leggere e scrivere dati Avro in streaming
- Buffer del protocollo di lettura e scrittura
- Eseguire query su stringhe JSON
Risorse aggiuntive
Apache Spark offre una Guida per programmare Structured Streaming con altre informazioni sullo Structured Streaming.
Per informazioni di riferimento su Structured Streaming, Azure Databricks consiglia di vedere la seguente documentazione di riferimento API di Apache Spark: