Problème connu : les travaux Spark peuvent échouer en raison des mises à jour runtime 1.3 pour la disponibilité générale
Microsoft Fabric Runtime 1.3 basé sur Apache Spark 3.5 est entré en disponibilité générale (GA) le 23 septembre 2024. Fabric Runtime 1.3 peut désormais être utilisé pour les charges de travail de production. Dans le cadre de la transition de la préversion publique à la phase de disponibilité générale, nous avons publié les principales mises à jour de bibliothèque intégrées pour améliorer les fonctionnalités, la sécurité, la fiabilité et les performances. Ces mises à jour peuvent affecter vos environnements Microsoft Fabric si vous avez installé des bibliothèques ou remplacé la version intégrée de la bibliothèque avec Runtime 1.3.
Statut : Ouvert
Expérience produit : Ingénieurs de données
Symptômes
Si vous avez installé les environnements avec des bibliothèques avec Runtime 1.3, le travail Spark commence à échouer avec une erreur similaire à Post Personalization failed. L’importation de bibliothèques personnalisées installées peut échouer en raison de la mise à jour des bibliothèques intégrées sous-jacentes.
Solutions et méthodes de contournement
Réinstallez les bibliothèques pour Fabric Runtime 1.3 dans vos environnements Microsoft Fabric. La réinstallation génère la nouvelle dépendance en fonction des dernières mises à jour. Si vos bibliothèques personnalisées ont des dépendances incompatibles sur les packages intégrés Python, l’installation échoue et un journal de débogage automatique est généré avec la liste des versions requises. Vous pouvez mettre à jour les dépendances pour rendre vos bibliothèques personnalisées compatibles. Il peut y avoir des incompatibilités ou des modifications cassantes sur le notebook ou le pipeline existant, car les packages Python sous-jacents ont été modifiés. Vous devez revoir le code pour atténuer.