共用方式為

資料工程師 的 Livy API 是什麼？

  • 發行項

注意

適用於網狀架構的 Livy API 資料工程師 處於預覽狀態。

適用於：✅Microsoft Fabric 中的 資料工程師 和 資料科學

Microsoft Fabric Livy API 可讓使用者在與 Fabric Lakehouse 相關聯的 Spark 計算中提交和執行 Spark 程式代碼，而不需要建立任何 Notebook 或 Spark 作業定義成品。 這與 Lakehouse 整合可確保直接存取儲存在 OneLake 上的數據。

功能

網狀架構 Livy API 允許以兩種不同的模式提交作業：

  • 會話作業
    • Livy 工作階段作業需要建立 Spark 工作階段，以在與 Livy API 互動期間保持作用中。 Livy 會話對於互動式工作負載很有用。
    • Spark 工作階段會在提交作業時啟動，並持續到用戶結束，或系統在閒置 20 分鐘後終止。 在整個會話中，多個作業可以在執行之間執行、共享狀態和快取數據。
  • Batch 作業
    • Livy 批次作業需要提交 Spark 應用程式以進行單一作業執行。 相較於 Livy 作業，批次作業不會持續執行 Spark 工作階段。
    • 使用 Livy 批次作業時，每個作業都會起始新的 Spark 工作階段，以在作業完成時結束。 此方法適用於不依賴先前計算或需要維護作業之間狀態的工作。

開始使用 Livy API

瞭解如何使用 Fabric 中的 Livy API 建立和執行 Spark 作業，方法是選擇使用 Livy API 提交 Spark 會話作業，或使用 Livy API 提交 Spark 批次作業。

相關內容