共用方式為


什麼是Apache Spark 作業定義?

Apache Spark 作業定義是一個Microsoft Fabric 程式碼項目,可讓您將批次/串流作業提交至 Spark 叢集。 藉由從不同語言的編譯輸出上傳二進位檔(例如,從 Java .jar),您可以將不同的轉換邏輯套用至 Lakehouse 上裝載的資料。 除了二進位檔,您可以上傳更多連結庫和命令行自變數,進一步自定義作業的行為。

若要執行 Spark 作業定義,您必須至少有一個與它相關聯的 Lakehouse。 此預設 Lakehouse 內容可作為 Spark 執行時間的預設檔案系統。 對於使用相對路徑讀取/寫入資料的任何Spark程式碼,資料會從預設Lakehouse提供。

提示

若要執行 Spark 作業定義項目,您必須有主要定義檔案和預設 Lakehouse 內容。 如果您沒有 Lakehouse,請遵循建立 lakehouse 中的步驟建立一個。