既知の問題 - Fabric Runtime 1.3 によって無効なライブラリが発生する
Fabric Runtime 1.3 には Apache Spark 3.5 が組み込まれています。 Spark 3.5 は 2024 年 8 月 15 日にメジャー更新プログラムをリリースしました。これにより、Fabric 環境にインストールされているカスタム ライブラリが無効になります。 無効な環境を使用している場合、ノートブックおよび Spark ジョブ定義セッションの開始は失敗します。
状態: 修正済み: 2024 年 11 月 7 日
製品エクスペリエンス: Data Engineering
現象
Fabric Runtime 1.3 環境で新しいノートブックまたは Spark ジョブ定義セッションが実行されると、Spark セッションの起動が失敗し、Spark_Ambiguous_SparkSubmit_PersonalizationFailed エラーが発生します。
解決策と回避策
この問題を解決するには、次の手順に従います。
- ワークスペース内の Runtime 1.3 を使用して環境インスタンスに移動する
- ライブラリの依存関係に基づいて、必要に応じてライブラリ セクションに変更を加える
- 環境をもう一度保存して発行します。 環境は、Spark 3.5 ランタイムの最新の更新プログラムで再構築されます。