既知の問題 - GA 向けのランタイム 1.3 更新プログラムにより Spark ジョブが失敗する場合がある
Apache Spark 3.5 に基づく Microsoft Fabric ランタイム 1.3 は、2024 年 9 月 23 日に一般提供 (GA) に移行しました。 Fabric ランタイム 1.3 を運用環境のワークロードに使用できるようになりました。 パブリック プレビューから一般提供段階への移行の一環として、機能、セキュリティ、信頼性、パフォーマンスを向上させるための主要な組み込みライブラリ更新プログラムをリリースしました。 これらの更新プログラムは、ライブラリをインストールした場合や、ランタイム 1.3 で組み込みのライブラリ バージョンをオーバーライドした場合に、Microsoft Fabric 環境に影響を与える可能性があります。
状態: オープン
製品エクスペリエンス: Data Engineering
現象
ランタイム 1.3 でライブラリを使用して環境をインストールした場合、Spark ジョブは、Post Personalization failed のようなエラーで失敗し始めます。 インストールされているカスタム ライブラリをインポートすると、基になる組み込みライブラリが更新されるため、インポートに失敗する可能性があります。
解決策と回避策
Microsoft Fabric 環境で Fabric ランタイム 1.3 のライブラリを再インストールします。 再インストールすると、最新の更新プログラムに基づいて新しい依存関係が構築されます。 カスタム ライブラリに、Python 組み込みパッケージとの互換性のない依存関係がある場合、インストールは失敗し、必要なバージョンの一覧がある自己デバッグ ログが生成されます。 依存関係を更新して、カスタム ライブラリに互換性を持たせることができます。 基になる Python パッケージが変更された場合、既存のノートブックまたはパイプラインに互換性がなくなる、または破壊的変更がある可能性があります。 軽減するには、コードを再検討する必要があります。