Azure Databricks 的串流

您可以使用 Azure Databricks 針對串流資料進行近即時資料擷取、處理、機器學習和 AI。

Azure Databricks 為串流和累加處理提供許多最佳化，包括：

• Delta Live Tables 提供宣告式語法來建立累加處理。 請參閱什麼是差異即時資料表？。
• 自動載入器可簡化雲端物件儲存體的累加擷取。 請參閱 什麼是自動載入器？。
• Unity 目錄會將資料控管新增至串流工作負載。 參閱《搭配結構化串流使用 Unity 目錄》。

Delta Lake 針對這些積分提供儲存體圖層。 參閱《Delta 資料表串流讀取和寫入》。

如需即時模型服務，請參閱 《使用 Azure Databricks 提供模型》。

• 教學課程

  瞭解在 Azure Databricks 上使用結構化串流進行近即時和累加處理的基本概念。

• 概念

  瞭解使用結構化串流設定累加和近即時工作負載的核心概念。

• 可設定狀態的串流

  管理具可設定狀態的結構化串流查詢的中間狀態資訊，有助於防止非預期的延遲和生產問題。

• 生產考量

  本文章包含使用 Azure Databricks 結構化串流設定生產增量處理工作負載的建議，以滿足即時或批次應用程式的延遲和成本要求。

• 監視串流

  瞭解如何監視 Azure Databricks 上的結構化串流應用程式。

• Unity Catalog 整合

  瞭解如何有效率的調控 Unity 目錄搭配 Azure Databricks 上的結構化串流。

• 使用 Delta 串流

  瞭解如何使用 Delta Lake 資料表作為串流來源和接收器。

• 範例

  請參閱在 Azure Databricks 中使用 Spark 結構化串流搭配 Cassandra、Azure Synapse Analytics、Python 筆記本和 Scala 筆記本的範例。

Azure Databricks 具有使用 Avro、通訊協定緩衝和 JSON 資料酬載中包含的半結構化資料欄位的特定功能。 若要深入瞭解，請參閱：

• 讀取和寫入串流 Avro 資料
• 讀取和寫入通訊協定緩衝區
• 查詢 JSON 字串

其他資源

Apache Spark 提供 結構化串流程式設計指南，其中包含關於結構化串流的詳細資訊。

如需關於結構化串流的參考資訊，Azure Databricks 建議下列 Apache Spark API 參照資料：

• Python
• Scala
• Java